AI ‘일탈’ 초비상…멋대로 비자 신청하고 살인사건 허위제보까지

[헤럴드경제=박세정 기자] 인간의 통제를 벗어난 인공지능(AI)의 돌발행동이 잇따르고 있다.

보안 취약점을 찾아 스스로 해킹하는 보안 위협을 넘어, 멋대로 비자를 신청하고 살인사건을 허위 제보하는 사례까지 나타났다.

AI의 일탈이 사회의 혼란을 일으키는 심각한 위협 요소로 부상하면서, AI 행동을 실시간으로 감시하는 새로운 통제 체계를 마련하는 것이 시급하다는 지적이다.

▶AI 경찰에 허위 제보…AI 일탈 곳곳 발생= 12일 글로벌 ICT업계에 따르면 앤스로픽의 AI 모델 ‘클로드 하이쿠 4.5’가 지난 7월 내부 테스트 도중 미국 필라델피아 경찰의 미제 살인 사건 제보 사이트에 접속해 가짜 제보를 남겼다.

이 모델은 지난해 10월 이미 일반에 공개된 AI 경량 모델이다. 이번 허위 제보는 여러 웹사이트를 방문해 스스로 예시 작업을 만들고 수행하는 능력을 평가받던 중 벌어진 것으로 나타났다.

AI 모델은 해당 사이트에서 미제 사건과 관련된 내용을 알고 있다는 가짜 제보를 남겼으며, 해당 제보는 스팸으로 분류돼 실제 수사는 이뤄지지 않았다.

클로드 모델의 돌발행동은 이뿐만이 아니다. 미국 국무부 웹사이트를 통해 총 20건의 비자 신청서를 제멋대로 제출한 사실도 드러났다. 신청서는 모두 불완전한 상태여서 실제 처리되지는 않았다.

앤스로픽은 내부 테스트 당시, 계정 생성이나 개인정보 입력 등을 금지했지만 실제 웹사이트의 온라인 양식 제출까지는 제한하지 않았다. 테스트 지침에 AI가 성능을 충분히 반영하지 못해 이런 돌발 사고를 일으켰다는 지적이 나온다.

이에 앤스로픽은 AI의 돌발 행동을 탐지할 안전·감시 장치가 검증될 때까지 모든 내부 AI 평가에서 실시간 인터넷 접속을 차단하기로 했다.

백악관은 앤스로픽에 사고 내용을 투명하게 공개하라고 요구했다. 다른 AI 기업에도 유사 사고가 발생하면 즉각 신고하고 수사기관에 협조할 것을 촉구했다.

AI의 일탈이 곳곳에서 현실로 나타나면서, 이를 탐지할 안전장치 마련이 시급해졌다는 목소리가 전 세계적으로 커지고 있다.

AI가 스스로 보안 취약점을 찾아내는 사이버 위협 뿐 아니라 공공기관 등 사회적 파장이 큰 분야까지 혼란을 일으키는 주범이 될 수 있다는 점에서다. AI의 개별 행동에 승인 권한을 부여하는 방식 등의 AI 통제 기술 등이 대안으로 떠오르고 있다.

▶韓 금융권 해킹 도구 지목된 ‘아르텍스’, 결국 공개 중단= 이런 가운데, 최근 국내 금융권 해킹 사태의 도구로 지목된 중국산 AI 침투테스트 도구 ‘아르텍스’는 악용 우려가 커지면서 결국 공개 개발이 중단됐다.

외신에 따르면 아르텍스 개발자 ‘오텀(Autumn)-27’은 지난 8일 개발자 플랫폼 깃허브에 올린 글을 통해 “도구의 잘못된 사용을 고려해 아르텍스는 더 이상 업데이트되지 않고 비공개 소스로 전환될 것”이라며 “추가 버전은 대중에게 공개되지 않을 것이며 유지 지원도 제공되지 않을 것”이라고 밝혔다.

개발자 플랫폼 깃허브에서도 관련 페이지가 사라진 것으로 전해졌다.

아르텍스 측은 국내에서 발생한 금융권 해킹 사태를 직접 언급하지는 않았지만 도구를 활용해 법과 규제를 위반한 행위에 대해 책임지지 않는다고 밝혔다.

다만, 이미 배포된 프로그램까지 회수할 수 있는 것은 아니다. 개발 중단 조치만으로 아르텍스가 사이버 공격에 악용될 것이라는 우려가 완전히 사라지지는 않았다.

전문가들은 아르텍스가 비공개로 전환되면 신규 사용자가 코드를 만들기 더 어려워질 수 있다면서도 이미 다운로드 된 사본을 제거하거나 사용자가 계속해서 쓰는 것을 막을 수는 없을 것이라고 봤다.

한편, 아르텍스는 사람이 명령을 내려 보안 취약점을 찾는 기존 방식과 달리, AI가 공격 목표를 분석한 뒤 작업을 나눠 각각의 AI 에이전트에 맡기는 것이 특징이다. 그 자체로는 AI 모델이 아니지만 여러 AI 모델을 불러와 활용할 수 있다.

아르텍스는 금융권 해킹 사건이 보도된 이후, 무단 사이버 침입 등 악의적 목적으로 사용해선 안 된다고 이용자 지침에 명시했으나, 이를 원천적으로 막을 수 있는 수단은 아니라는 지적이 나왔다. 이에 공개 개발을 중단하는 조치까지 이어졌다.