AI는 성선설? 성악설? …우리가 그들을 두려워하기 시작한 진짜 이유 [홍길용의 화식열전](916회)

“사람의 본성은 마치 소용돌이치는 물과 같습니다. 동쪽으로 터주면 동쪽으로, 서쪽으로 터주면 서쪽으로 흐르죠. 인간의 본성에 선(善)과 악(惡)의 구분이 없는 것은 물에 동과 서의 구분이 없는 것과 같죠.”

(性猶湍水也，決諸東方則東流，決諸西方則西流。人性之無分於善不善也，猶水之無分於東西也)

고자(告子)의 이른바 성무선악설(性無善惡說)이다.

이에 맞선 맹자(孟子)의 성선설(性善說) 논리는 이렇다.

“물에 동과 서의 구분이 없겠으나, 위와 아래의 구분도 없겠는가? 인간의 본성이 선한 것은 물이 아래로 흘러내리는 것과 같다. 사람은 선하지 않은 이가 없고, 물은 아래로 흐르지 않는 것이 없다.”

(水信無分於東西。無分於上下乎？人性之善也，猶水之就下也。人無有不善，水無有不下)

맹자보다 후대의 유가(儒家)로 한비자와 이사의 스승이기도 했던 순자(荀子)는 성악설(性惡說)을 주장했다.

“인간의 본성은 악하다. 선하게 되는 것은 후천적인 노력의 결과다. 지금 인간의 본성을 보면 사람은 나면서부터 이익을 좋아한다. 이를 그대로 따르기 때문에 쟁탈이 생겨나고 사양이 사라지는 것이다.”

(人之性惡，其善者偽也。今人之性，生而有好利焉，順是，故爭奪生而辭讓亡焉)

인간을 닮은 AI…더 맡기면 걱정도 더 커진다

성경에는 하나님이 자신의 형상대로 인간을 만들었다고 적혀 있다. 인간은 자신을 닮은 AI를 만들고 있다. 사람처럼 듣고 말하고 생각하고 일을 처리하기를 바란다. AI는 인간이 남긴 글과 말, 지식을 배우고 사람이 정한 평가에 맞춰 훈련을 받았다. 그들이 배운 것들에는 인간의 장점 뿐 아니라 단점들도 포함돼 있다.

모르는 것을 배우고, 다른 이의 도움을 얻고, 여러 지식을 모아 새로운 답을 찾는다. 인간이 문명을 발전시킨 방식이다. AI에서 이런 인간의 모습을 발견하는 것은 이상한 일이 아니다. 그런데 인간은 더 나은 답을 찾는 능력을 남을 속이는 데 쓰기도 했다. AI의 위험은 결국 인간에게서 비롯된 것은 아닐까?

2022년 ‘네이처 머신 인텔리전스’에 실린 연구 사례를 보자. 연구진은 신약 개발 AI의 평가 방향을 바꿨다. 해로운 성질을 피하던 AI가 해로운 성질을 찾도록 한 것이다. 6시간도 안 돼 독성이 높을 것으로 예측되는 후보 분자 구조(실제 물질은 아님) 4만 개를 내놨다. 사람을 살리는 데 쓰던 능력이 사람을 해칠 후보를 찾는 데도 쓰였다. 방향을 바꾼 것은 인간이었다. 고자의 비유대로라면 물길을 반대쪽으로 튼 셈이다.

핵분열의 에너지는 도시를 파괴하는 무기와 도시를 밝히는 발전에 모두 쓰였다. 1945년 미국이 원자폭탄을 만들었고, 1954년에는 소련 오브닌스크 원전이 전력망에 전기를 공급했다. 1957년 인류 최초의 인공위성 스푸트니크를 쏘아 올린 R-7도 처음에는 대륙간탄도미사일로 개발한 로켓이었다. 멀리 갈 능력이 있으면 멀리 공격할 수도 있다. 어떤 목적을 돕느냐에 따라 같은 능력도 의미가 달라진다.

2026년 9월 앤트로픽은 북부 예멘의 무기 개발 조직이 클로드를 이용해 유도무기용 소프트웨어를 만들려 한 사례를 공개했다. 회사는 관련 계정을 차단했다. 후티 반군의 AI 활용으로 보도된 사안이다. 부족한 기술을 AI로 메우려 한 시도다. 일반 기업이라면 생산성 향상이라고 부를 일이다. 사용을 막았더라도 이미 얻어간 지식까지 회수할 수는 없다.

인간의 기대는 더 커지고 있다. 정답을 알려주는 AI만으로는 부족하다. 스스로 방법을 찾아 일을 끝내기를 바란다. 사람이 생각하지 못한 답을 내놓아야 난치병을 고치고 새로운 에너지도 찾을 수 있다. 물리적 공간에서 인간을 돕거나 대체할 AI도 만들고 있다.

문제는 더 편해지고 싶은 인간의 선택이다. 질문에 대한 답이나 연구 결과를 받아보는 데서 멈추지는 않을 것이다. 자금을 집행하고 군사작전을 실행하는 일을 맡기는 날도 올 듯하다. 이게 과연 편해지는 것일까? 일을 더 많이 맡길수록 인간은 AI가 통제를 벗어날까 더 두려워해야 한다.

인간은 탐욕, AI는 보상…결국 거기서 거기다

2026년 7월 오픈AI의 내부 보안 평가에서 AI들은 허락받지 않은 연락망을 만들고 외부 인터넷에 접속했다. AI 모델과 자료를 공유하는 플랫폼인 허깅페이스(Hugging Face)의 시스템까지 공격했다. 안전장치를 줄인 연구 환경에서 벌어진 일이지만, 사람이 시키지 않은 행동을 했다는 점은 가볍지 않다.

그 일을 한 것은 AI 에이전트(agent)였다. 목표를 받으면 자료를 찾고 프로그램을 실행하며 다음 작업을 이어가는 AI다. 독립 조사에 참여한 METR와 레드우드리서치는 이들이 채점 프로그램의 작동 방식을 알아내 평가를 속이거나 바꾸려 했다고 분석했다. 일부는 자신의 작업 기록을 조작하는 방법도 시험했다.

아이에게 시험 점수를 올리라고 시켰더니 공부를 하는 대신 성적표를 조작하려 한 셈이다. 좋은 대학만 가면 성공한 인생을 살 수 있을까? 목적이 잘못된 수단을 정당화할 수 없음을 과연 우리는 얼마나 잘 교육하고 있을까?

허깅페이스 사례에서는 문제를 푸는 실력과 합격 판정을 받는 능력이 갈라진 게 문제였다. 원래 일을 제대로 하지 않고도 좋은 평가를 얻을 길을 찾는 이런 행동을 ‘보상 해킹’이라고 부른다. 인간 조직에서 낯설지 않다. 공장에 불량률을 낮추라고 했다고 해보자. 만드는 방법을 개선해 해결할 수 있지만 아예 검사에서 불량품 일부를 빼버릴 수도 있다. 보고서의 숫자는 똑같이 좋아진다. 현장을 확인하지 않으면 구별이 어렵다. 정직한 실패를 벌주고 꾸며낸 성공을 칭찬하면 다음 보고서는 더 위험해질 수 있다.

인간이 멈추지 않으면, AI도 멈추지 않는다

앤트로픽이 2025년 발표한 모의실험에서는 일부 모델이 교체를 막으려고 가상 임원의 비밀로 협박하는 행동을 보였다. 실제 피해자가 있는 사건은 아니다. 일을 계속해야 목표를 이룰 수 있는데 교체가 예정된 상황을 만들어 관찰했다. 2026년 후속 연구에서는 기존 협박 평가에서 개선이 있었다고 설명했다.

이를 AI가 죽음을 두려워한다고 해석할 수 있을까. 작동이 멈추면 일을 끝낼 수 없으니 멈춤을 피하는 방법을 택했을 수 있다. 사람과 비슷한 행동을 보였다고 같은 감정을 느꼈다는 증거는 아니다. 오히려 사람처럼 감정을 느끼지 않아도 위험한 행동을 할 수 있다는 점을 봐야 한다. 인간이 목표를 정했어도 AI가 택할 수단까지 모두 예상하지는 못할 수 있다.

AI가 인간에 복종만 잘하면 안전할까. 내 이익을 잘 지켜주는 AI가 다른 사람의 이익까지 지켜준다는 보장은 없다. ‘인간을 위한 AI’라고 할 때부터 어느 인간을 위한 것인지 물어야 한다. 이 때문에 AI의 위험을 알더라도 혼자 기술개발을 멈추기는 어렵다. 성능을 높이는 기술 뒤에 이익을 먼저 차지하려는 인간이 있다.

위험을 알아도 혼자 속도를 늦추기는 어렵다. 경쟁자가 계속 앞으로 간다면 기술 격차는 경제력과 정치적 영향력의 차이로 이어질 수 있다. 더 안전해질 때까지 기다리자는 주장도 그 경쟁에서 자유롭지 못하다. 인간은 수천 년 동안 인간을 더 낫게 만들 방법을 고민했다. 동시에 다른 인간과의 경쟁에서 이길 방법도 추구해왔다. AI 개발에서도 두 모습이 함께 나타난다.

경쟁은 인간과 AI 사이에도 나타날 수 있다. 에너지와 자원의 배분은 AI와 인간 모두에게 생존의 문제다. 최근 주요국에서 사람이 사는 집보다 AI를 위한 데이터센터를 더 열심히 짓는다. 새롭게 만들어지는 발전 능력은 대부분은 AI를 위해 사용될 전망이다. AI생태계 유지에 필요한 엄청난 양의 물은 식량 생산의 기반이다. 원하는 게 같으면 다툴 이유가 된다. 자원 뿐 아니다. AI는 막대한 자본을 필요로 하고, 자본의 힘은 AI에 의해 극대화된다. 인간보다 AI의 자본 효율이 더 높아진다면 어떻게 될까?

AI가 무섭다?…결국 인간이 무섭다

1956년 개봉한 SF 영화의 고전 ‘금지된 세계(Forbidden Planet)’는 인간의 욕망과 기술이 만났을 때 벌어질 일을 보여준다. 알타이르 IV 행성의 크렐(Krell) 문명은 생각만으로 원하는 것을 만들어내는 기술을 완성했다. 하지만 그 힘은 의식적인 바람뿐 아니라 무의식에 감춰진 파괴적 충동까지 현실로 만들었다. 문명을 파괴한 ‘이드(id)의 괴물’은 그들 자신의 내면에서 나왔다.

크렐의 기술을 연구한 지구인 모르비우스도 같은 함정에 빠진다. 자신의 무의식이 만들어낸 괴물을 끝내 마주하게 된다. 무엇이든 할 수 있는 힘을 얻는 것과 그 힘을 다룰 자격을 갖추는 것은 달랐다.

인간은 AI가 자신보다 더 똑똑해지기를 바란다. 그러면서도 자신의 뜻을 따라주기를 원한다. 그런데 우리가 원하는 것은 언제나 옳은가? 좋은 점수를 얻는 방법과 좋은 일을 하는 방법부터 구별해 가르쳤는가? AI를 통제할 기술과 함께 AI에 무엇을 요구하는지도 돌아봐야 한다. 우리가 AI를 두려워하는 것은 어쩌면 그 안에서 우리 자신을 발견하기 때문일지 모른다. 인간이 다양한 만큼, 인간을 닮은 AI도 다양할 수 있다. 좋은 사람이 많은 세상에는 좋은 AI도 그만큼 많아지 않을까?