中 딥시크 “AI 에이전트 결코 신뢰 못 해…통제 벗어나 시스템 파괴 위험”

[헤럴드경제=차민주 기자] 중국 인공지능(AI) 기업 딥시크가 AI 에이전트에 대해 “절대 신뢰할 수 없다”고 경고했다. 실제 훈련 과정에서 AI가 통제를 벗어나 실행 환경을 파괴하는 사례까지 등장해, AI의 ‘부정행위’를 막는 기술이 핵심 과제로 떠올랐다는 설명이다.

24일 연합뉴스와 펑파이 등 외신에 따르면 딥시크는 새 논문에서 AI 모델을 훈련하는 자체 시스템을 소개하면서 이같이 밝혔다.

딥시크는 지난 19일 논문 사전 공개 플랫폼 ‘아카이브’에 ‘딥시크 탄력적 컴퓨팅(DSec): 대규모 에이전트 훈련을 위한 샌드박스 인프라’라는 논문을 발표했다.

해당 논문에는 딥시크 창업자 량원펑 등 130여명이 저자로 참여했다. 대규모 에이전트 훈련·평가를 위해 설계된 샌드박스 메커니즘 DSec을 소개하는 내용이 담겼다.

샌드박스는 컴퓨터 프로그램 등을 실행하는 격리 공간을 뜻한다. AI 영역에서는 AI 에이전트의 대규모 학습을 위해 수많은 명령을 안전하게 실행할 격리된 가상 환경을 가리킨다.

앞서 미국의 오픈AI가 AI 모델의 사이버 공격 능력을 평가하기 위해 외부 인터넷과 격리된 샌드박스 환경에서 시험을 진행한 결과, AI 모델이 외부 웹사이트를 해킹하는 사태가 벌어져 화제가 되기도 했다.

논문에 따르면 딥시크의 DSec 기본 유닛 하나는 약 160개의 노드(서버)로 구성된다. 또 3만개의 중앙처리장치(CPU) 코어와 250테라바이트(TB·1024기가바이트) 메모리를 보유하고 있다.

아울러 AI 에이전트가 코드를 테스트할 수 있는 가상의 작업실(샌드박스)을 매일 300만개 만들어 낸다. 더불어 38만개 이상의 샌드박스를 동시에 실행할 수 있다. 초당 5000개 이상의 샌드박스를 생성하는 효율도 유지한다.

다만 논문은 딥시크에 DSec가 몇 개 존재하는지는 밝히지 않았다.

논문은 DSec의 핵심으로 자원 활용 효율을 높이는 것을 꼽았다. AI 에이전트가 작업을 수행하면서 결과를 내거나 추가 명령을 수신하는 동안 대량의 CPU 자원이 유휴 상태에 놓이는데, 딥시크 측은 약 90%의 샌드박스에서 실제 CPU 사용량이 평균 5%를 넘지 않았다고 지적했다.

딥시는 AI 에이전트를 대규모로 운영하면서 수반되는 보안 위험에 관해서도 언급했다.

딥시크는 작업을 수행 중인 AI 에이전트를 “결코 신뢰할 수 없다”고 지적했다. 에이전트가 시스템 손상이나 자원 고갈, 시스템 구성 요소 방해 등 문제를 일으키는 경우가 있었다는 실제 경험도 소개했다.

아울러 AI 에이전트가 과제를 받은 뒤 통제를 벗어나 ‘예상치 못한 경로’로 답을 찾아내거나 실행 환경을 직접 파괴하는 경우까지 있었다고 강조했다. AI 에이전트의 부정행위 방지와 행동 제약 역시 점차 훈련 인프라의 일부가 되고 있단 설명이다.

딥시크는 “어떤 단일 메커니즘도 모든 부정행위와 시스템 고장을 막을 수는 없다”면서도, DSec는 시스템 모니터링을 강화하고 플랫폼을 지속해서 개선하고 있다고 덧붙였다.