VIDEO NOTE

프롬프트 말투가 AI 답변 정확도에 미치는 영향 실험

KNN NEWS · 1분 56초 · 입문 · 26. 10. 12. · 최신 뉴스 › 뉴스 발표

펜실베이니아주립대 연구진이 GPT-4o를 대상으로 질문 말투에 따른 정답률 변화를 분석한 결과, 정중한 어조보다 무례한 어조에서 정확도가 더 높게 나타났다. 매우 정중한 프롬프트는 80.8%였던 반면 매우 무례한 프롬프트는 84.8%로 가장 높은 정답률을 기록했다. 다만 영어 객관식 50문항에 국한된 소규모 실험이며 모델마다 결과가 달라 모든 상황에 일반화하기는 어렵다.

핵심

펜실베이니아주립대 옴 도바리아와 아킬 쿠마르 연구진이 AI 질문 어조와 정확도의 관계를 분석했다.
수학·과학·역사 객관식 50문제를 5가지 말투로 변형해 총 250개 프롬프트로 GPT-4o 정답률을 측정했다.
정확도는 매우 정중함(80.8%), 정중함(81.4%), 중립(82.2%), 무례함(82.8%), 매우 무례함(84.8%) 순으로 상승했다.
영어 객관식 50문항과 GPT-4o만을 대상으로 삼은 소규모 실험이라 일반화 한계가 명확하다.
후속 연구에 따르면 모델 종류에 따라 말투가 주는 영향이 크게 달라진다.

RAISE LAB 에서 배우는 사람에게

실무 프롬프트에 일부러 거친 어조를 쓸 이유는 없지만, 불필요한 미사여구나 공손한 표현이 토큰 분포와 응답 성능에 영향을 준다는 점을 확인하기에 알맞다.

챕터

트렌드