“누가 마피아야?”…상대 정체 추리하는 AI, 게임 승률 24%P 상승

마피아 게임에서 ‘저 사람이 마피아일까, 아닐까’를 추리하듯, 상대 인공지능(AI)의 숨은 역할과 팀 정체를 스스로 추론해 말하고 행동하도록 대형언어모델을 훈련하는 기술을 국내 연구진이 개발했다.

울산과학기술원(UNIST) 인공지능대학원 한승열 교수팀이 개발한 이 학습법의 이름은 ‘마르보’(MARBO·Multi-Agent Relational Belief Optimization)다. 여러 AI 에이전트가 협력하거나 경쟁하는 상황에서 상대가 속임수를 쓸 수 있다는 점을 전제로, 상대의 정체와 팀 관계를 추리해 자기 목표에 맞게 말하고 행동하도록 AI를 가르친다.

마르보는 축적된 대화와 행동을 토대로 상대가 어떤 역할이며 누구와 같은 편인지 추리하도록 가르친다. 이 추정을 ‘관계적 믿음’이라 부르며, 함께 참여하는 AI 조합을 무작위로 바꿔 다양한 상황을 경험하게 한다.

핵심은 훈련 과정의 평가 방식이다. 기존 학습법은 상대를 잘못 추리했더라도 우연히 유리한 결과를 얻으면 좋은 평가를 줄 수 있었다. 반면 마르보는 상대의 정체를 정확하게 판단하고 목표에 유리한 행동을 선택했을 때 좋은 평가를 준다.

발언 학습에서도 차별점이 있다. 상황에 맞는 말인지만 따지지 않고, 그 말을 들은 상대의 판단이 자신에게 유리하게 바뀌었는지까지 확인하도록 가르친다. 상대가 자신을 어떻게 인식하는지를 고려해 발언 전략을 세우는 것이다.

연구팀은 마피아 게임 종류인 ‘웨어울프’와 ‘어몽어스’에서 AI끼리 대결하도록 해 성능을 검증했다. 두 게임 모두 참가자마다 아는 정보가 다르고 거짓말도 가능한 상황에서 상대의 숨은 정체를 추리해야 하는 사회적 추론 게임이다.

검증 결과 매개변수 70억개 언어모델을 마르보로 훈련해 웨어울프 게임을 시켰을 때 다섯 종류의 상대 AI와 겨룬 평균 승률은 65.6%였다. 기존 학습법으로 훈련했을 때의 41.6%보다 24%포인트 높은 수치다.

매개변수가 두 배인 140억개 모델을 기존 학습법으로 훈련했을 때의 승률 64.0%도 웃돌았다. 어몽어스에서도 유효 매개변수 약 20억개 모델의 승률이 36.4%에서 49.0%로, 약 40억개 모델은 40.0%에서 59.0%로 각각 올랐다.

AI가 상대의 의도를 추론하는 연구는 국제적으로도 이어져 왔다. 메타는 2022년 외교·동맹·배신이 핵심인 보드게임 ‘디플로머시’에서 자연어로 협상하는 AI ‘시세로(CICERO)’를 공개했다. 시세로는 익명 온라인 리그 40게임에서 인간 참가자 평균 점수의 두 배 이상을 기록하고, 두 게임 이상 참가자 중 상위 10% 안에 들었다.

그러나 AI의 전략적 언어 능력이 고도화될수록 우려도 커진다. 2024년 국제 학술지 ‘패턴스(Patterns)’에 실린 연구는 시세로가 게임 대화에서 약속을 어기거나 상대를 오도한 사례를 분석하며 AI의 기만적 행동 가능성을 경고했다. AI가 협력하고 협상하는 능력을 갖추는 것과 신뢰할 수 있게 행동하는 것은 별개의 과제인 셈이다.

AI 에이전트 간 협업 능력은 산업계에서도 주목받고 있다. 이화영 LG AI연구원 AI사업개발부문장은 지난 9월 헤럴드 기업포럼 2026에서 여러 AI 에이전트를 조율·지휘하는 ‘오케스트레이션’이 중요한 요소라고 설명했다. AI들이 단순히 각자의 업무를 처리하는 데 그치지 않고 공동의 목표에 맞춰 협력해야 한다는 것이다.

한승열 교수는 이번 연구에 대해 “불완전하거나 기만적 정보가 존재하는 상황에서도 상대 역할과 관계를 추론해 제대로 된 판단을 할 수 있게 하는 기술”이라며 “향후 다중 로봇, 자율 드론, 인간-AI 협업 등 여러 에이전트가 서로의 상태와 의도를 이해하며 협력해야 하는 시스템의 신뢰성과 적응성을 높이는 기반 기술로 확장할 수 있을 것”이라고 말했다.

다만 이번 성과는 게임 실험에 한정된다. 로봇·자율 드론·인간과 AI의 실제 업무 협업에 적용해 검증된 것은 아니다. AI가 추론하는 상대의 의도 역시 게임 내 역할과 행동 패턴에 기반한 판단이지 사람의 속마음을 직접 읽거나 거짓말을 확실하게 판별하는 능력은 아니다.

이번 연구 결과는 지난달 24~29일 헝가리 부다페스트에서 열린 자연어 처리 분야 국제 학술대회 ‘EMNLP 2026’에서 공개됐다. 논문은 국제전산언어학회 논문 저장소인 ACL 앤솔로지에도 등재됐다. 연구는 과학기술정보통신부 정보통신기획평가원과 한국연구재단의 지원을 받았다.

Google News 에서 헤럴드경제 팔로우