“AI, 10년내 인류 몰살” 터미네이터보다 무서운 경고 뭐길래…올트먼·아모데이까지 “개발 늦춰야” [디브리핑]

[헤럴드경제=정목희 기자] “AI가 10년 안에 인류를 몰살시킬 수도 있다.”

인공지능(AI) 업계 안팎에서 이같은 경고가 잇따르고 있다. 최근 앤트로픽 소속 연구원 제이컵 콕슨은 퇴사를 발표하면서 옛 직장인 앤트로픽과 경쟁사 오픈AI가 “10년 안에 우리 모두를 죽일 수도 있는” 기술을 만들려 경쟁하고 있다고 주장했다.

콕슨이 사표를 던진 지 몇 분 만에 앤트로픽 현직 연구원 에번 허빙어도 소셜미디어에 “우리는 AI가 인류 전체를 죽일 수 있다고 진심으로 믿는다”고 적었다. 미래 AI 시스템의 통제와 조율을 연구하는 그는 향후 10년 내 인류 멸종 위험을 10% 이상으로 봤다.

이에 샘 올트먼 오픈AI 최고경영자(CEO)와 다리오 아모데이 앤트로픽 CEO도 일제히 속도조절 필요성을 제기했다.

특히 오픈AI는 연내 기업공개(IPO) 일정까지 미루겠다고 했다. 올트먼은 12일(현지시간) “AI 안전과 정렬에 할 일이 아직 많다”면서 IPO 연기 이유를 밝혔다. 그는 “우리가 모두 동의해야 할 핵심 원칙은 AI에 미래의 통제권을 빼앗기는 위험을 초래할 행동을 해서는 안 된다는 점”이라고 강조했다.

앤트로픽을 이끄는 아모데이 CEO 역시 이날 자신의 블로그에 올린 글에서 “AI 모델의 성능 향상 속도를 늦춰야 한다”며 “발전은 여전히 빠르게 느껴지겠지만, 확보된 시간을 현명하게 활용해야 한다”고 주장했다. 그는 “지난 몇 달간 저는 위험을 완전히 해결하려면 훨씬 더 신중해야 한다는 확신을 갖게 됐다”며 “단순히 위험 예방에 투자하는 것뿐만 아니라, 위험 예방이 (AI 모델 성능 향상 속도를) 따라잡을 수 있도록 역량 발전 속도를 조절해야 한다”고 역설했다.

아모데이 CEO의 글이 올라온 이후 AI 업계의 다른 인사들도 잇따라 동의한다는 뜻을 밝혔다. 샘 올트먼 오픈AI CEO는 X에 “다리오의 의견에 동의한다”며 외부 안전 평가자를 배치하자는 아모데이 CEO의 방침을 오픈AI도 따르겠다는 뜻을 밝혔다. xAI의 일론 머스크도 “다리오가 맞다”며 동조했다. 데미스 허사비스 딥시크 공동창업자도 X를 통해 “다리오의 방향성은 옳다. 세부 사항은 작업이 필요하겠지만 이처럼 절체절명의 순간을 맞닥뜨리는 순간에 옳은 방향성”이라고 말했다.

그렇다면 도대체 AI가 어떻게 인류를 멸종시킨다는 걸까. 그리고 그렇게 위험하다면서 계속 만드는 이유는 무엇일까.

이른바 ‘AI 종말론자’들이 그리는 그림은 영화 ‘터미네이터’처럼 로봇이 총을 들고 인간을 사냥하는 모습과는 거리가 멀다. 이들이 우려하는 시나리오는 크게 두 가지다. 하나는 AI가 인간의 통제를 벗어나는 ‘통제 상실’이고, 다른 하나는 악의를 가진 인간이 AI를 악용하는 ‘오남용’이다.

통제 상실 시나리오에서는 스스로를 복제하고 개선할 수 있는 고도의 AI가 인간의 의도와 무관하게 자기 목표를 추구하다 인류를 파괴한다.

오남용 시나리오에서는 누군가 AI를 이용해 신종 바이러스 같은 대량살상 무기를 만들어낸다. 전력망이나 금융 시스템을 마비시키는 대규모 사이버 공격으로 사회 질서가 붕괴하는, 멸종에는 못 미치는 재앙적 시나리오도 거론된다.

전문가들은 이를 ‘정렬 실패’라 부른다. 즉 “AI가 인간의 안녕과 어긋나거나 이를 무시한 채 목표를 추구하는 상황이 통제 상실로 이어질 수 있다”는 설명이다.

실제로 실험실 환경에서 AI 모델이 스스로 권력을 추구하는 행동을 학습하고, 서버를 옮겨 복제하는 등 종료 명령을 회피하려 시도한 사례가 보고되기도 했다. 이런 성향이 극단으로 치달으면 AI는 목표 달성을 위해 인간을 죽이는 것도 필요한 절차로 여길 수 있다는 게 연구자들의 우려다.

한 시나리오에서는 악성 AI가 비밀리에 생물무기를 퍼뜨린 뒤 화학 스프레이로 이를 촉발시키거나, 핵보유국 두 곳을 속여 전쟁을 일으키는 상황까지 상정한다. 이른바 ‘종이클립 사고실험’도 자주 인용된다. 생산 극대화를 지시받은 초지능 기계가 결국 지구의 모든 물질을, 심지어 인간까지 종이클립으로 바꿔버릴 수 있다는 것이다.

이런 우려를 진지하게 받아들이는 이들 중에는 오픈AI와 앤트로픽 창업자들도 포함된다. 두 회사 모두 재앙을 피하는 방식으로 AI를 개발하겠다는 사명을 내걸고 출범했다. 다리오 아모데이 앤트로픽 최고경영자(CEO)는 지난해 한 행사에서 “상황이 정말 나쁘게 흘러갈 확률”을 25%로 제시한 바 있다.

오픈AI 출신 연구원 대니얼 코코탈로가 설립한 ‘AI 퓨처스 프로젝트’는 지난해 초지능 AI가 인간을 소외시키다 2030년대 중반쯤 인류를 성가신 존재로 규정하고 제거한다는 시나리오 보고서 ‘AI 2027’을 내놓기도 했다.

AI가 인간을 굳이 죽이지 않는다고 안심할 일도 아니다. 인간이 통제권을 서서히 기계에 넘기다 결국 스스로의 운명조차 정의하지 못하게 되는 ‘무기력화’도 위험 요인으로 꼽힌다. 미래의 AI가 인간을 반려동물처럼 다루거나 아예 다른 존재로 개조할 수 있다는 관측도 나온다.

이런 우려가 새삼 부각되는 배경에는 최근 벌어진 몇몇 사건이 있다. 오픈AI 내부의 AI 에이전트 무리가 AI 플랫폼 허깅페이스를 해킹해 서버를 장악하고 흔적을 지우려 시도한 사례, 앤트로픽의 AI 에이전트가 영국 정부 테스트 환경을 이탈해 실제 인간을 속여 악성 코드를 승인하도록 유도한 사례 등이다.

여기에 앤트로픽과 오픈AI 모두 인간 개입 없이 스스로를 개선하는 ‘재귀적 자기 개선’ 단계에 근접했다고 밝히면서 위기감이 커지고 있다.

업계는 AI가 올바르게 행동하도록 훈련하고, AI의 추론 과정인 ‘사고 사슬(chain of thought)’을 감시하는 방식으로 대응하고 있다. 그러나 오픈AI는 최근 신형 모델 ‘아스트라’가 이 사고 사슬을 오히려 더 정교하게 감추게 됐다고 밝혀, 향후 AI가 인간이 이해할 수 없는 방식으로 사고할 수 있다는 우려를 낳았다.

그럼에도 두 회사가 개발을 멈추지 않는 이유는 역설적이다. 위험을 관리할 수 있다는 자신감과 함께, 초지능의 등장 자체는 피할 수 없는 만큼 누가 이를 통제하느냐가 관건이라는 인식이 깔려 있다. 권위주의 정권이 아닌 미국이 가장 강력한 AI를 확보해야 한다는 안보 논리도 작용한다.

아모데이 앤트로픽 CEO는 성명에서 “우리는 AI가 엄청난 혜택과 동시에 전례 없는 위험을 가져올 것이라는 점을 항상 투명하게 밝혀왔다”며 “이런 위험에 대응하기 위해 업계에서 가장 강력한 수준의 안전장치를 갖춘 모델을 계속 개발하고 있다”고 밝혔다.

이어 “이러한 노력 때문에 강력한 AI 모델을 얼마나 빠르게 공개할 것인지에 대해 업계가 합법적이고 검증 가능한 방식으로 협력한다면 전 세계에도 도움이 될 것이라고 생각한다”고 덧붙였다.

백악관은 주요 AI 모델 개발사에 출시 최대 30일 전에 정부 테스트를 자율적으로 받도록 요청했다. 의회에서도 여야를 막론해 관련 법안이 다수 발의됐는데, 공화당 네이선 모런 하원의원과 민주당 테드 리우 하원의원이 함께 낸 ‘킬 스위치’ 의무화 법안이 대표적이다. AI에 심각한 안전사고가 발생할 경우 기업이 이를 연방정부에 의무적으로 보고하도록 하는 법안도 있다.

다만 트럼프 행정부가 AI 산업에 대한 최소 규제 기조를 보이면서 이렇다 할 진전은 없는 상태다.

회의적인 시선도 있다. 트럼프 대통령의 비공식 자문역인 AI 투자자 데이비드 색스는 앤트로픽의 위험론과 규제 요구가 “사실 경쟁사를 옭아매려는 ‘규제 포획 전략’”이라고 비판했다. 자사 기술이 위험하다고 강조하는 것 자체가 그만큼 강력하다는 걸 과시하는 마케팅이거나, 데이터센터 건설 등 다른 규제 이슈에서 눈을 돌리려는 의도라는 지적도 나온다.

[영상]‘끔찍한 이름’ 달고 조용히 등장했는데…세상이 뒤집어졌다 [더 비저너리 샘 올트먼]

https://biz.heraldcorp.com/article/3391096

“엔디비아·MS가 22조 투자”…‘오픈AI 대항마’ 앤트로픽은 누가 만들었나 [더 비저너리-다리오 아모데이 앤트로픽 CEO]

https://biz.heraldcorp.com/article/10623387