AI는 왜 틀린 말을 사실처럼 할까요?

코하쿠
코하쿠AI가 있지도 않은 일을 아주 자신 있게 답할 때가 있어요. 왜 그럴까요?
30초 만에 알아보는 답
코하쿠다음 말을 예측하는 방식과 시험 채점 방법이 그 열쇠랍니다.

AI 챗봇은 다음에 올 것 같은 말을 골라 문장을 만들기 때문에, 답의 단서가 적은 질문에도 그럴듯한 문장이 만들어져요. 게다가 OpenAI의 설명에 따르면, 맞힌 개수만으로 점수를 매기는 시험에서는 '모르겠어요'가 0점이라서 찍는 쪽이 성적이 좋아 보이고, 그런 답하는 방식이 남기 쉬워요.

코하쿠
코하쿠그럼 이제 자세히 설명해 드릴게요.
더운 날 도로 저 멀리가 물웅덩이처럼 반짝여 보이는 신기루
더운 날 도로 위에 보이는 '신기루'예요. 실제로는 없는 물이 있는 것처럼 보여요.사진: Michael from Calgary, AB, Canada / CC BY 2.0 / 위키미디어 공용

그럴듯한 실수는 '환각'

AI 회사 OpenAI는 AI가 자신 있게 만들어 내는, 그럴듯하지만 사실이 아닌 문장을 '환각(할루시네이션)'이라고 불러요. 예를 들어 널리 쓰이는 챗봇에게 한 연구자의 박사 논문 제목을 물었더니, 서로 다른 제목 3개를 내놓았는데 모두 틀렸어요. 생일을 물었을 때도 서로 다른 날짜 3개를 답했고, 역시 모두 틀렸어요.

드문 사실일수록 틀리기 쉬워요

AI의 바탕이 되는 모델은 아주 많은 글로 다음 말을 예측하는 연습(사전 학습)을 해요. 이 글에는 '맞음', '틀림' 같은 표시가 붙어 있지 않아요. 맞춤법이나 괄호를 닫는 법처럼 정해진 규칙이 있는 것은 학습이 진행될수록 실수가 사라져요. 하지만 반려동물의 생일처럼 드물게 나오고 규칙으로 예측할 수 없는 사실은 틀리기 쉽다고 해요.

그림: 실수가 사라지는 것, 남는 것
길이 뚜렷한 지도와, 끊긴 길 너머로 낱말 카드가 길을 지어내는 지도, 두 장의 시험지 비교
  1. 1단서가 많은 질문(길이 뚜렷한 지도)
  2. 2단서가 적은 질문(길이 중간에 끊긴 지도)
  3. 3그럴듯한 낱말을 늘어놓아 만든, 있을 리 없는 길
  4. 4빈칸은 점수가 없고, 추측으로 채우면 점수를 받기도 하는 시험

시험에서는 찍는 쪽이 점수가 높아 보여요

OpenAI는 이것을 객관식 시험에 비유해요. 답을 몰라도 찍으면 맞을 수도 있지만, 빈칸은 반드시 0점이에요. 생일을 물었을 때 '9월 10일'이라고 답하면 365분의 1 확률로 맞아요. 맞힌 비율만으로 비교하는 평가가 많아서, 찍는 모델이 성적이 더 좋아 보여요. SimpleQA라는 질문 테스트에서 gpt-5-thinking-mini는 52%의 질문에 답을 보류했고, 정답은 22%, 오답은 26%였어요. o4-mini는 보류가 1%뿐이고 정답은 24%로 조금 많았지만, 오답이 75%였어요.

그림: 답을 보류할까, 찍을까
gpt-5-thinking-mini답을 보류52%정답22%오답26%o4-mini답을 보류1%정답24%오답75%

OpenAI가 공개한 SimpleQA 테스트 결과에서.

코하쿠
코하쿠빈칸은 0점, 찍으면 맞을지도 몰라요. AI에게도 시험 고민이 있나 봐요.

채점 바꾸기와 사용하는 사람의 확인

그래서 OpenAI는 채점 방식을 바꾸자고 제안해요. 자신 있게 틀린 답은 '모르겠어요'보다 더 많이 감점하고, 확실하지 않다고 밝힌 답에는 부분 점수를 주자는 거예요. 매사추세츠 공과대학교(MIT)의 자료도 생성형 AI는 고급 자동 완성처럼 작동하며, 목적은 그럴듯한 문장을 만드는 것이지 사실인지 확인하는 것이 아니라고 설명해요. 중요한 일은 전문가에게 묻거나 논문 같은 자료와 맞춰 보며 꼭 확인해요.

더 알고 싶다면

  • Anthropic의 연구에서는 AI 'Claude' 안에 '정보가 부족해 답할 수 없다'고 답하는 작용이 처음부터 켜져 있고, 잘 알려진 이름일 때 그 작용이 억눌려 답하게 되는 구조가 발견됐어요.
  • OpenAI에 따르면 마오리어를 전혀 배우지 않은 작은 모델은 마오리어 질문에 '모르겠어요'라고 하면 되지만, 조금 배운 모델은 자신이 얼마나 확실한지 따져 봐야 해요.
  • MIT 자료에 따르면 답의 다양함을 정하는 '온도' 설정을 0~0.3으로 낮추면, 더 집중되고 사실에 가까운 답이 나오기 쉬워요.
코하쿠
코하쿠그럴듯한 문장일수록 한 번 멈추고 확인해요. 그것이 AI와 잘 지내는 비결이에요.

3지선다 퀴즈로 확인해 보세요

코하쿠방금 읽은 내용, 기억나세요? 도전해 보세요!

AI가 찍어서 답하기 쉬워지는 이유는?

정답 보기
  1. 사람을 속이게 만들어져서
  2. 맞힌 개수만으로 채점해서
  3. 인터넷이 전부 틀려서

맞힌 개수만으로 채점해서 맞힌 개수만으로 채점하면 '모르겠어요'는 0점이에요. 찍는 쪽이 성적이 좋아 보여서 그런 답하는 방식이 남기 쉬워요.

참고 자료
  1. Why language models hallucinateOpenAI (영어)
  2. When AI Gets It Wrong: Addressing AI Hallucinations and BiasMIT Sloan Teaching & Learning Technologies (영어)
  3. Tracing the thoughts of a large language modelAnthropic (영어)

이 글은 2026-10-03 기준으로 위 자료를 확인하고 썼습니다. 연구가 진행되면 설명이 바뀔 수도 있습니다. 사진 출처는 각 사진 아래에 있습니다.

다음 잡학 ▶

기술동영상 앱은 어떻게 '추천'을 고를까요?동영상 앱을 열면 보고 싶은 영상이 가득하죠. 어떻게 골라지는 걸까요?