울산과학기술원(UNIST) 인공지능대학원 이연창 교수팀이 대형언어모델(LLM) 기반 추천 시스템의 편향과 오류를 진단하는 도구 '에코트레이스(EchoTrace)'를 개발했습니다. 이번 연구는 UNIST 박동욱 연구원이 제1저자로 참여하고 미국 펜실베이니아주립대 이동원 교수와 공동 수행했습니다.
연구팀은 AI가 추천한 결과를 이용자가 선택하고, 이를 AI가 다시 학습하는 '피드백 루프' 현상을 지적했습니다. 실제로 LLM 기반 영화 추천 시스템에서는 이용자 100명 중 86~92명이 AI의 이전 추천을 근거로 다음 작품을 선택했습니다. 이 과정을 5차례 반복하자 특정 인기 항목으로의 쏠림 현상이 더욱 심화했습니다.
AI의 정보 왜곡 수준도 심각했습니다. 추천 대상에 없는 항목을 제시하는 환각 현상 비율은 영화 4.07%, 도서 7.40%, 가게 13.14%에 달했습니다. 또한 영화 이용 기록을 바탕으로 AI가 추정한 이용자의 직업은 실제 데이터와 93.16%가 일치하지 않는 것으로 나타났습니다.
연구팀은 주요 데이터마이닝 및 정보검색 학회에 발표된 논문 116편을 분석해 LLM의 역할을 다섯 가지로 체계화했습니다. 이번 연구 결과는 오는 2026년 11월 7일부터 11일까지 이탈리아 로마에서 열리는 국제학술대회 'ACM CIKM 2026'에서 발표될 예정입니다.