영리한 척하는 AI의 과잉 사고 증후군

텐센트 AI 랩^{Tencent AI Lab}과 상하이 자오퉁 대학교^{Jiao Tong University} 연구진이 최근 발표한 논문 “2+3=?에 그렇게 많이 생각하지 마라: o1과 같은 LLM의 과잉 사고에 관하여“는 인공지능의 비효율적 추론 과정을 날카롭게 지적한다. 우리가 믿어 의심치 않았던 AI의 ‘깊은 사고’ 능력이 사실은 과도한 사고(overthinking)이고 엄청난 낭비였다는 사실이 드러난 것이다.

현대 사회에서 인공지능은 마치 전지전능한 존재처럼 받아들여진다. 특히 오픈AI(OpenAI)의 o1 모델과 같은 최신 AI는 인간처럼 깊이, 그리고 오래 ‘생각’한다는 점이 장점으로 여겨진다. 하지만 이 연구는 그 ‘깊은 생각’의 실체를 냉정하게 드러냈다. 2+3의 답을 구하는데 인간이 쓰는 자원의 19배를 소모하는 AI. 이것이 바로 우리가 경외하는 인공지능의 실체다.

연구진이 발견한 바에 따르면, 퀘스트의 QwQ-32B-프리뷰 같은 최신 AI는 초등학생도 즉각 대답할 수 있는 덧셈 문제에 무려 901개의 토큰을 쏟아붓는다. 일반적인 AI 모델이 12개 토큰으로 간결하게 해결하는 동일한 문제다. 19세기 말 오스카 와일드가 말했던 “중요하지 않은 일에 중요한 태도를 취하는 것”의 완벽한 디지털 구현인 셈이다.

더 웃긴 것은 이 ‘과잉 사고’가 정확도 향상에 거의 기여하지 않는다는 사실이다. 92%의 경우, 첫 번째 솔루션에서 이미 정답을 맞히고 있다. 나머지 800여 개의 토큰은 무엇을 위한 것인가? 인공지능이 자신의 지능을 과시하기 위한 무의미한 수사학적 장치에 불과하다.

인간은 문제의 난이도에 따라 사고의 깊이를 조절한다. 2+3에는 즉각 대답하고, 페르마의 마지막 정리에는 평생을 바친다. 하지만 AI는 모든 문제에 같은 복잡한 사고 패턴을 적용한다. 아이러니하게도, 연구진이 밝힌 바에 따르면 AI는 쉬운 문제에서 더 많은 솔루션을 제시하는 경향이 있다. 마치 초보 강사가 자신의 불안감을 가리기 위해 간단한 내용도 복잡하게 설명하는 것과 같다.

더욱 씁쓸한 것은, 이 모든 과도한 사고가 엄청난 에너지 소비로 이어진다는 점이다. AI가 2+3을 계산하는 동안 소모되는, 그리고 이 논문의 저자들이 수백 시간 동안 AI의 낭비적 사고를 분석하며 소모한 전력량을 생각해보라. 단순한 계산에도 전력을 낭비하는 AI 모델은 인류의 에너지 위기에 기여하는 디지털 사치품이 아닐까?

텐센트 AI 연구진은 ‘SimPO FCS+Reflection’이라는 방법으로 AI의 과잉 사고를 48.6% 줄이는 데 성공했다고 한다. 그러나 이는 근본적인 문제 해결이 아니라 증상 완화에 불과하다. AI가 단순 문제에서 어떻게 심플하게 생각할지 배우는 대신, 우리는 AI의 과잉 사고를 잘라내는 기술을 개발하는 데 시간을 쓰고 있다.

결국 이 논문은 우리가 숭배하는 AI의 깊은 사고가 어쩌면 부모님 앞에서 현학적 지식을 자랑하는 10대의 철학적 독백과 다를 바 없을지도 모른다는 불편한 진실을 보여준다. 무엇이 정말 지능적인 것인가? 간단한 문제를 복잡하게 생각하는 기계, 아니면 복잡성을 단순화할 줄 아는 인간? 한 가지 확실한 점은, 2+3=5라는 답을 위해 900개 이상의 토큰을 쓰는 인공지능은 아직 인간의 효율적 사고 방식과는 거리가 멀다는 사실이다.

인쇄하기