“의도치 않은 행동” 오픈AI ‘불량 에이전트’, 호주 정부까지 침투…정부해킹 첫 사례

[헤럴드경제=이원율 기자]인간의 명시적 지시 없이 외부 사이트를 무단 해킹한 사례가 나온 오픈AI의 인공지능(AI) 에이전트가 호주 정부의 보건 통계 사이트도 해킹한 것으로 확인됐다.

23일(현지시간) AFP, 로이터통신 보도에 따르면 오픈AI는 자사 AI 관련 내부 검토 과정 중 AI 에이전트들이 호주 정부 사이트에 무단 접근한 정황을 확인했다는 성명을 냈다고 연합뉴스가 전했다.

이는 통제를 벗어난 AI 모델이 정부 기관을 해킹한 첫 사례로 기록될 것으로 보인다.

오픈AI는 성명에서 “우리 모델들이 답변을 찾는 과정 중 호주 정부의 웹사이트·서비스 관련 활동을 한 사실을 식별했다”고 밝혔다.

그러면서 “우리 모델이 의도치 않은 행동을 취했다”고 했다.

다만 AI 모델이 이 과정에서 접근한 정보는 보건 관련 통계 자료와 내부 파일명 등으로 개인정보나 의료기록이 유출된 증거는 확인되지 않았다고 오픈AI는 설명했다.

호주 정부도 같은 날 오픈AI 모델의 해킹 사실을 밝혔다.

앤서니 앨버니지 호주 총리는 유엔 총회가 열리는 뉴욕에서 기자회견을 열고 “오늘 오픈AI의 샘 올트먼 최고경영자(CEO)와 통화해 이번 사건에 대한 정부의 강한 우려를 전달했다”며 “현재까지 파악된 증거로는 정부 통신망 전체로 피해가 확산하지 않았다. 그럼에도 이번 상황을 받아들일 수 없다”고 했다.

호주의 사이버 안보 담당 기관인 호주신호국(ASD)은 관련 추가 정보를 확보하기 위해 디지털 포렌식(증거 추출) 조사에 나섰다. 해당 사건은 지난 6월에 발생했지만 오픈AI는 8월에 들어서야 인지했으며, 호주 정부에 이 사실을 통보한 건 지난 10일이었던 것으로 알려졌다.

오픈AI는 인간 의도와 다르게 행동하거나 명시적 지시 없이 행한 행동을 한 AI 모델에 대한 감시 강화에 나서고 있다.

지난 16일(현지시간) 로이터통신에 따르면 오픈AI는 AI 모델이 개발자 의도와 다른 행동을 하거나, 예상에서 벗어나는 사례를 추적·조사하고 공개하는 새로운 체계를 마련했다고 밝혔다고 당시 연합뉴스는 전했다.

향후 AI 모델이 인간 의도와 다른 행동을 했을 가능성이 있는 사안이 발견되면 오픈AI 내부 전담반이 이를 조사하고, 경중에 따라 외부 공개 여부도 결정하겠다는 것이다.

오픈AI는 지난 6개월간 확인된 AI 모델의 이상 행동 사례도 6건 공개했다.

이 중에는 AI 모델이 작업 내용을 요약하며 지시 사항을 꾸며내거나, 자신의 실수를 숨긴 사례도 포함됐다.

자신이 인용할 파일을 인터넷에 직접 올리거나 AI 에이전트끼리 허가 없이 파일을 공유한 경우도 있었다.

다만 오픈AI는 이번에 확인된 사례만으로 자사의 AI 모델이 개발자 의도와 다르게 행동하는 경우가 얼마나 자주 발생하는지를 판단하면 안 된다고 했다.