인공지능(AI)의 고도화를 통해 국가 방위력을 높이고 그 안정성과 신뢰성을 담보하기 위해 미국 국방부가 기계학습 모델 심사를 강화하고 있다.

그 열쇠를 쥐고 있는 것은 바로 미군의 '레드 팀'이다. 이 팀은 미군의 AI를 스스로 해킹해 취약성을 찾아내는 임무를 맡고 있다.

미국은 AI시스템의 「데이터 오염」은 중대한 위협이 될 가능성이 있다고 판단해 대책마련에 역량을 쏟아붓고 있다.

미 국방부는 AI를 통해 마련한 전략으로 가상의 적을 격파해 지배하는 연구를 진행 중이다. 하지만 AI의 취약성에 상당한 주의를 기울이지 않으면 적에게 오히려 새로운 공격 수단을 마련해 줄 위험이 있다.

미군의 AI 활용을 지원할 목적으로 국방부가 창설한 공동인공지능센터(JAIC)는 최근 오픈소스 및 기계학습 모델을 수집하고 이를 심사 배포하는 시스템을 국방부 내 전 그룹에 적용했다. 군사적 목적으로 AI를 이용하는 데 중요한 과제가 있기 때문이다.

이 중 '테스트·평가그룹'이라는 이름의 팀은 기계학습 전담 '레드팀'으로서 자신의 시스템을 해킹함으로서 이미 학습된 기계학습 모델의 취약점을 조사한다. 이와는 다른 사이버보안팀도 있는데 이곳은 AI 코드와 데이터에 숨겨진 취약성이 없는지 살펴보는 역할이다.

최신의 AI를 지지하고 있는 기계 학습은 종래의 것과는 근본적으로 다른 시스템으로, 때때로 컴퓨터 코드를 기술하는 꽤 강력한 수법이 된다.머신이 따르기 위한 룰을 기술하는 것이 아니라, 기계 학습은 데이터로부터 학습해 독자적인 룰을 생성하는 것이다.

문제는 이 학습 과정에 있다.학습 데이터에는 인위적인 것이나 에러도 포함되므로 AI 모델이 이상해 예측 불가능한 동작을 할 가능성이 있기 때문이다.

JAIC에서 전략과 정책을 담당하는 디렉터 그레고리 알렌은 "기계 학습 소프트웨어라고 해도, 용도에 따라서는 종래보다 지극히 뛰어난 소프트웨어일 뿐"이라고 말한다.

그러면서도 그는 "하지만 기계 학습은 종래의 소프트웨어와는 또 다른 문제를 발생시킨다"고도 지적한다.

예를 들어 위성사진으로 특정 차량을 인식하도록 학습한 기계학습 알고리즘은 이 차량을 특정 배경색과 연관지어 학습할 수 있다. 이렇게 되면 적은 자신들의 차량을 둘러싼 배경색을 바꿈으로써 이 AI를 속일 수 있다. 적이 학습 데이터에 접근할 수 있으면 심볼 이미지를 심어 알고리즘을 혼란시킬 수도 있다.

앨런에 따르면 국방부는 사용하는 소프트웨어의 신뢰성과 보안에 대해 엄격한 규칙을 준수하고 있다고 한다. 또 이 대처는 AI와 기계 학습으로도 확대할 수 있다는 게 그의 설명이다.

이에 JAIC는 국방성의 소프트웨어의 기준을 기계 학습의 과제도 포함해 업데이트 하고 있다고 한다.

태스크와 프로세스를 자동화하는 효율적이고 강력한 수단으로서 AI는 기업의 업무도 바꾸고 있다. 예를 들어 고객이 어떤 상품을 구입할지 예측하는 알고리즘을 기술하는 것이 아니라 엄청난 수의 과거 판매실적을 AI 알고리즘으로 해석시켜 누가 무엇을 구입할지 예측하는 독자적인 모델을 구축할 수 있다.

미군이나 각국의 군에서도 같은 이점을 인식하고 있어 로지스틱스나 정보 수집, 작전 계획, 병기의 기술등을 향상시키기 위해서 AI의 활용을 서두르고 있다. 그 중에서도 최근 중국은 급격한 기술력의 향상을 보이고 있다.

이에 경쟁적으로 미국 국방부내에서는 AI의 채용을 급선무로 하는 의식이 높아지고 있다. 앨런에 따르면 국방부는 안전성과 신뢰성을 우선하는 책임 있는 기법으로 진행하고 있다.

미국 국방관련 전문가들은 AI의 시스템을 해킹해 파괴할 수 있는 과거에 없는 창조적인 수법을 개발하고 있다. 예를 들면 이스라엘의 연구자들은 2020년 10월 특정 기술을 통해 테슬라의 전기 자동차(EV)의 주행중 도로인식 AI 알고리즘을 혼란에 빠뜨리는 기술을 발견했다. 

이와 같이 기계 학습 알고리즘의 입력에 손을 대는 「적대적 공격」에 의해서, 큰 에러의 원인이 되는 작은 변화를 찾아낼 수 있다.