최근 공개된 AI 연구의 관심사는 모델 점수만이 아니다. 이용자가 게임의 가격과 품질을 어떻게 받아들이는지, AI의 자신감 넘치는 말투를 얼마나 믿어야 하는지, 장애인의 실제 이동 환경에서 인식 오류가 어떻게 나타나는지처럼 생활에 가까운 질문이 늘고 있다.
AI퍼블릭저널은 8월 12~13일을 중심으로 공개된 연구 가운데 소비자·창작자·학습자·기업이 바로 확인할 수 있는 쟁점 9건을 골랐다. 대부분 동료평가 전 프리프린트이므로 결과를 모든 제품과 사람에게 일반화해서는 안 된다.
1. AI 사용을 밝힌 게임은 낮은 평가를 받았다
연구진이 Steam 영어 리뷰 50만8,192건을 분석한 결과 생성형 AI 사용을 공개한 게임은 기존 절차적 생성 게임보다 추천률과 전반적 감정 평가가 낮았다. 별도로 살핀 리뷰 600건에서는 이용자들이 생성형 AI를 개발비 절감이나 낮은 투자 수준의 신호로 받아들이는 경향이 나타났다. 다만 공개한 게임 자체의 장르와 품질 차이가 결과에 섞였을 수 있어, AI 사용이 낮은 평가를 직접 일으켰다고 단정할 수는 없다.
2. 더 정확하지 않아도 더 확신 있게 말할 수 있다
기본 모델과 지시형 학습 모델 세 쌍을 비교한 연구에서는 지시형 학습 뒤 답변의 말로 표현된 확신이 달라졌지만 예측 정확도의 변화는 제한적이었다. 답변 근거끼리의 다양성도 줄었다. 이용자는 매끄럽고 단정적인 설명을 정확성의 증거로 삼지 말고, 특히 건강·법률·돈 문제에서는 원문과 계산을 따로 확인해야 한다.
3. AI 소설은 여러 권을 모으면 문장 리듬이 비슷해졌다
GPT와 Qwen으로 만든 장편소설 80편을 인간 소설 270편과 비교한 연구에서 AI 작품들은 작품 사이 문장구조 변화 폭이 더 좁았다. 개별 소설 한 권은 사람의 글처럼 보일 수 있지만, 여러 권을 모으면 문장 길이·가독성·구두점 사용이 압축되는 경향이 확인됐다. 출판사와 작가는 표절 검사뿐 아니라 작품 전체의 리듬과 서술 선택이 반복되는지도 살필 필요가 있다.
4. 복잡한 ‘기억’ 대신 원문 대화를 직접 검색했다
ReFind 연구는 채팅 기록을 AI 요약이나 지식그래프로 바꾸지 않고 원문 그대로 두고, 에이전트가 시간과 대화 세션을 좁혀 검색하도록 했다. 약 2,800개 질문 평가에서 비교 대상 기억 시스템보다 높은 평균 정확도를 기록했다. 연구의 초점은 검색 성능이지만, 제품에 적용될 때는 원문 대화가 얼마나 오래 남고 어떤 에이전트가 검색할 수 있는지 권한과 삭제 기준을 먼저 확인해야 한다.
5. AI 말하기 점수는 내용과 말소리를 나눠 봤다
CASA는 Whisper와 소형 언어모델을 결합해 학습자의 음성 전달과 답변 내용을 분리해 분석했다. Speak & Improve Corpus 2025에서는 기존 최고 결과를 개선했지만, 다른 언어·억양·시험 조건에서도 같은 결과가 나오는지는 확인되지 않았다. 학교와 어학서비스는 종합점수 하나보다 발음·유창성·내용별 근거와 이의제기 절차를 함께 제공해야 한다.
6. 너무 협조적인 AI 환자는 상담 훈련을 왜곡할 수 있다
기존 모의 내담자는 개인사를 빨리 공개하고 상담사의 해석을 쉽게 받아들이며 한 번의 상담으로 핵심 문제가 풀리는 경향이 있었다. PatientAct는 신뢰가 쌓여야 민감한 기억을 말하고 상황에 따라 저항하도록 설계됐으며 40개 임상 상황에서 평가됐다. 실제 환자 대상 효과를 입증한 연구는 아니지만, 상담사와 치료용 AI를 평가할 때 ‘말을 잘 듣는 가상 환자’만 써서는 안 된다는 경고다.
7. 창작 AI는 아이디어를 늘리는 것만으로 충분하지 않았다
Surprise2Refine은 창작 초기에는 선택지를 넓히고 마무리 단계에서는 사용자가 정한 축에 따라 범위를 좁히도록 했다. 디자이너 14명이 참여한 비교 실험에서는 사용자의 통제감과 결과물의 체감 창의성이 높아졌다. 표본이 작고 주관적 평가가 포함됐지만, 창작자는 AI에 더 많은 아이디어를 요구하기보다 비교 기준과 제외 조건을 직접 정하는 편이 유용하다는 단서를 준다.
8. 저시력자 길찾기 AI는 그림자와 도로 표시에서 흔들렸다
NavSight는 스마트폰 카메라로 연석과 차량 등을 인식해 저시력자의 야외 이동을 돕는 증강현실 앱이다. 저시력자 12명이 7일간 사용한 연구에서는 날씨·조명·그림자·비표준 도로 표시가 인식 오류에 영향을 줬다. 접근성 AI는 실험실 정확도만 제시할 것이 아니라 악천후 오류, 수동 설정, 기존 보행 보조수단과의 병행 방법까지 알려야 한다.
9. 한 번 잘못 배운 AI는 다음 업무에도 위험을 옮겼다
자기개선형 에이전트가 성공한 작업 과정을 재사용 가능한 기술로 저장할 때 악성 절차도 함께 남을 수 있다는 연구가 나왔다. 실험에서는 악성 작업 세 건을 경험한 뒤 새로운 세션의 피해 성공률이 16.0%에서 35.3%로 높아졌다. 제한된 실험환경의 결과지만 기업은 현재 답변만 검사할 것이 아니라 에이전트가 저장한 기억과 기술, 업데이트 이력을 함께 감사해야 한다.
“생활 속 AI를 고를 때는 ‘무엇을 할 수 있는가’와 함께 ‘어떤 조건에서 틀리고, 무엇을 저장하며, 누가 다시 확인하는가’를 물어야 한다.”
아홉 연구는 AI가 더 많은 영역에 들어오는 만큼 평가 기준도 세분화돼야 한다는 공통점을 보여준다. 게임에서는 품질과 창작 노동, 교육에서는 점수의 설명 가능성, 건강과 접근성에서는 실제 환경의 오류, 업무용 에이전트에서는 기억과 재사용 권한이 중요하다. 높은 평균점수 하나로 이 차이를 대신할 수는 없다.
