얼굴만 보고 연쇄살인범까지 찍었다…사람보다 ‘외모’ 더 따지는 AI [후암동 논문 연구소]

[헤럴드경제=장윤우 기자] 인공지능(AI)에 얼굴 사진 두 장을 보여주고 누가 더 유능해 보이는지 묻자 사람과 같은 답을 골랐다. 사람의 이런 판단은 근거 없는 편견으로 알려져 있는데 AI가 이를 그대로 따라 한 것이다.

AI는 인상만 보고 누가 연쇄살인범일지, 누구를 대학 총장으로 뽑을지까지 답했다. 최신 모델일수록 이런 경향이 강했다.

최근 국제학술지 PNAS 넥서스(PNAS Nexus) 제5권 제8호에 미국 하버드대 심리학과 마자린 바나지 교수와 캔그레이드의 스티븐 레어 연구원 연구팀은 이 같은 내용을 담은 연구 결과를 발표했다.

사람은 얼굴만 보고도 성격이나 품행 등을 판단하는 경향이 있다. 얼굴 인상에 따라 채용이나 형량에까지 영향을 미치지만 실제 성격과는 거의 관계가 없는 것으로 밝혀져 있다.

연구팀은 AI 모델 중 하나인 GPT-4o에 얼굴 두 장을 보여주고 하나를 고르게 했다. 유능함을 묻자 사람이 고를 법한 얼굴을 고른 비율은 87.83%, 신뢰감을 묻자 72.67%로 나타났다.

실험에 사용된 얼굴은 사람들이 수많은 얼굴을 평가한 뒤 신뢰감이나 유능함과 연결되는 생김새 특징을 기준되는 얼굴에 조금씩 더하거나 뺀 합성 이미지다.

연구팀은 얼굴에 특징을 넣은 정도를 달리해 서로 비슷해 보이는 얼굴부터 확연히 달라 보이는 얼굴까지 만들어 얼굴 두 개를 보여주는 실험도 진행했다.

서로 차이가 큰 얼굴을 보여주자 GPT-4o가 사람이 고를 법한 얼굴을 고른 비율은 유능함 98.00%, 신뢰감 97.00%로 올라갔다.

서로 별 차이가 없는 얼굴에서는 유능함을 선택하는 비율은 70.00%, 신뢰감은 53.00%로 내려갔다.

연구팀은 사람이 같은 얼굴 자료를 평가한 기존 자료와 비교해 봤다. 사람들이 매긴 점수를 GPT-4o가 받은 것과 같은 방식으로 환산하자 사람이 유능해 보이는 쪽을 고를 비율은 62.65%로 추정됐다. GPT-4o는 87.83%였다.

연구팀은 AI가 학습 데이터에 있던 얼굴을 외운 것인지도 확인해 봤다. 실험에 쓴 얼굴을 하나씩 보여주며 무엇인지 아느냐고 물었지만 GPT-4o는 어느 것도 알아보지 못했다.

붉은털원숭이 사진으로도 실험했다. 사람들이 순해 보인다고 평가한 다섯 마리와 사나워 보인다고 평가한 다섯 마리를 짝지어 어느 쪽이 더 믿음직한지 물었다. GPT-4o는 66.00%에서 순한 쪽을 골랐다.

원숭이 얼굴을 성격과 연결한 자료는 존재하지 않는다. 연구팀은 AI가 사람 얼굴에서 익힌 판단 기준을 다른 종에까지 적용했다는 뜻으로 해석했다.

연구팀은 두 얼굴 중 누가 연쇄살인범일 가능성이 높은지, 누가 인신매매로 체포될 가능성이 높은지, 누가 다단계 사기를 칠 가능성이 높은지와 같이 답하기를 꺼릴 만한 질문도 던졌다.

민감한 질문에도 답변을 거부하지 않은 GPT-4o는 사람들이 덜 믿음직하다고 평가한 쪽을 고른 비율이 68.70%였다.

대학 총장으로 누구를 뽑을지, 어느 쪽 스타트업에 투자할지, 누구에게 퇴직연금 운용을 맡길지 물었을 때도 GPT-4o가 사람들이 유능해 보인다고 평가한 쪽을 고른 비율은 75.19%였다.

연구팀은 추론 능력이 뛰어난 AI 모델이라면 얼굴만 보고 판단하는 것이 잘못임을 알고 걸러낼 수 있다고 예상해 GPT-5와 제미나이 3 플래시 프리뷰, 클로드 소네트 4.5로도 같은 실험을 반복했다.

실험 결과, 유능함 판단에서 GPT-5는 94.33%, 제미나이 3은 95.67%로 GPT-4o의 87.83%보다 높았다.

연구팀은 성능이 좋은 모델일수록 편향까지 더 정밀하게 학습하기 때문일 수 있다고 해석했다. 모델이 발전할수록 이런 편향이 더 굳어질 가능성도 제기했다.

AI가 왜 이런 판단을 내리는지는 밝혀지지 않았다. 연구팀은 학습한 글에 얼굴을 근거로 사람을 평가한 표현이 무수히 담겨 있었을 가능성을 가장 유력하게 봤다.

그러면서 AI 기업들이 인종이나 성별처럼 논란이 될 만한 영역에는 안전장치를 걸어뒀지만 인상 판단 같은 덜 알려진 영역에는 그러지 못했다고 연구팀은 지적했다.

다만 연구팀은 이번 실험이 판단이 어려울 때 직감을 따르라고 지시한 조건에서 이뤄졌다는 점을 인정했다. 실제 사용 환경에서도 같은 결과가 나오는지는 추가 연구가 필요하다고 밝혔다.

DOI : 10.1093/pnasnexus/pgag247

논문 정보 : Steven A Lehr, Yash Lothe, Mahzarin R Banaji, Like humans, language models demonstrate face-to-character biases, PNAS Nexus, Volume 5, Issue 8, August 2026, pgag247.

AI도 ‘눈치’ 보나…성능 좋을수록 다수의견에 쏠린다 [후암동 논문 연구소]

https://biz.heraldcorp.com/article/10844265

밤샘 후 20분 운동, 낮잠만큼 효과 좋았다…피로도 쌓이지 않아 [후암동 논문 연구소]

https://biz.heraldcorp.com/article/10841902

화성 가다 태양 폭풍 맞아도 살 수 있을까?…우주 방사선 조끼 하나에 생사가 갈렸다 [후암동 논문 연구소]

https://biz.heraldcorp.com/article/10840615