AI 환각 현상, 결과에 악영향 주기 전에 막는 법

호아킨 피닉스가 스칼렛 요한슨에게 R이 strawberry에 몇 개 들어있는지 물어봤다면 사랑에 빠졌을까요? LinkedIn을 한다면, 답은 3개라는 걸 알 겁니다. (아니면, 그냥 읽을 줄 알면요.)

하지만 AI 챗봇에게는 항상 그렇게 간단하지 않습니다.

AI 환각의 황당함을 조롱하는 사람들을 아마 본 적 있을 겁니다. 사실, 거의 무한한 지식과 인간 같은 추론, 번개처럼 빠른 작업 수행 능력을 가진 AI 모델이 유치원 수준의 수학 문제에서 틀리는 건, 꽤나 우스꽝스럽긴 하죠.

하지만 이런 재미 뒤에는 더 심각하고, 어쩌면 위험한 현실이 숨어 있습니다.

이 글에서는 AI 환각이 무엇인지, 왜 발생하는지, 왜 중요한지, 그리고 이를 예방하기 위한 방법에 대해 이야기하겠습니다.

AI 환각이란?

AI 환각은 AI 모델이 부정확하거나 오해를 불러일으키거나 완전히 허구의 정보를 제시하는 현상입니다. 이런 잘못된 정보는 그럴듯해 보일 수 있고, 많은 경우 알아차리기 어렵습니다.

LLM이 널리 사용되면서, 환각은 주로 생성형 텍스트 모델에서 언급됩니다. 실제로는 생성형 AI의 다양한 활용에서 모두 위험이 존재합니다.

AI에서 환각은 왜 발생할까요?

AI 환각은 모델이 잘못된 패턴을 학습할 때 발생합니다.

AI에서 패턴이란, 개별 학습 예시를 바탕으로 보지 못한 데이터에도 일반화하는 능력을 의미합니다. 예를 들어, 단어들의 조합으로 텍스트를 이어가거나, 이미지 픽셀의 분포로 개를 인식하는 것 등이 있습니다.

LLM 환각의 경우, 모델은 사용자의 프롬프트에 가장 그럴듯한 단어 조합을 선택하지만, 그 내용이 사실이 아닐 수 있습니다.

이런 현상은 다음과 같은 한 가지 또는 여러 가지 이유로 발생할 수 있습니다:

저품질 학습 데이터

ChatGPT와 유사한 LLM은 방대한 데이터를 학습합니다. 하지만 이 데이터는 다음과 같은 이유로 완벽하지 않습니다:

• 특정 주제에 대한 정보 부족
• 현실 세계의 편견 반영
• 고의적 허위 정보 또는 표시되지 않은 풍자
• 편향, 즉 불균형하거나 한쪽으로 치우친 데이터.

예를 들어, 모델이 그리스 신 중 한 명을 제외한 모든 정보를 학습했다면,

그리스 신화와 관련된 사랑, 윤리, 배신 같은 주제에서 통계적 연관성을 찾다가, 모델이 '그럴듯하다'고 판단한 허구의 신화를 만들어낼 수 있습니다.

이런 현상은 이미지 생성에서도 나타나는데, 여성 인물을 요청하면 대부분 과도하게 성적화된 이미지가 생성됩니다. 특정 묘사에 대한 편향이 생성되는 이미지의 유형을 결정짓게 됩니다.

strawberry의 철자는 아마도 학습 데이터에서 이중 R 논의와 함께 등장했을 가능성이 높습니다. 이 경우, 숫자 2나 “double”이라는 단어가 철자와 함께 언급됐을 겁니다.

반면, 3개의 R이 있다는 언급은 거의 없었을 것입니다.

이런 결과가 황당하게 느껴지는 이유는, 누가 단어를 적고 나서 그 철자를 다시 물어보는 상황이 드물기 때문입니다.

모델 구조와 생성 방식

이 모델들은 매우 복잡한 신경망 구조로 만들어집니다. 약간의 차이만으로도 모델이 학습 데이터와 입력 프롬프트에 어떻게 반응하는지에 영향을 줍니다. 환각을 줄이는 능력은 꾸준한 연구와 테스트를 통해 점진적으로 개선됩니다.

여기에 생성 방식도 영향을 미칩니다. 실제로는 워드피스 단위로, 다음에 올 가능성이 가장 높은 단어를 예측합니다. 예를 들어:

“The quick brown fox jumps over the lazy ___.”

가장 가능성 높은 다음 단어는 “dog”일 것입니다. 하지만 다른 단어도 나올 수 있습니다. 항상 가장 가능성 높은 단어만 고르면, 결과가 너무 평범하고 예측 가능해집니다.

그래서 더 창의적인 샘플링 방법이 필요하고, 이 과정에서 사실성이 떨어질 수 있습니다.

과적합

과적합은 모델이 데이터를 너무 정확히 예측하려다 새로운 입력에는 일반화하지 못하는 현상입니다.

제가 모델이라면(엄마는 제가 모델이 되길 바라시지만), 개를 이렇게 인식하면 적절히 학습된 것입니다:

털이 있고, 귀가 늘어져 있으며, 장난기 많고, 갈색의 작은 단추 같은 코를 가진 동물.

하지만 이렇게만 인식하면 과적합입니다:

턱 밑에 갈색 점이 있고, 이름이 “Frank”이며, 내 좋은 나이키 운동화를 다 씹어먹은 개.

LLM에서는, 학습 데이터에서 본 정보를 그대로 반복하거나, 모르는 부분에서는 멈추지 않고 비슷한 내용을 만들어내는 식으로 나타납니다.

예를 들어 챗봇에 어떤 회사의 반품 정책을 물었을 때, 모르면 모른다고 해야 합니다. 하지만 과적합된 경우, 비슷한 다른 회사의 정책을 답할 수 있습니다.

부적절한 프롬프트

기업들은 AI가 입력에 따라 달라진다는 점을 인식하고 프롬프트 엔지니어링 자격증을 발급하고 있습니다.

잘 작성된 프롬프트는 명확하게 표현되고, 특수 용어를 피하며, 필요한 모든 맥락을 제공합니다.

이는 환각이 낮은 확률의 다양한 출력 경계에서 발생하기 때문입니다.

예를 들어 “shark girl의 줄거리는 뭐야?”라고 물으면, 사람은 “음, shark girl.”이라고 생각합니다. 통계적으로는 다음과 같은 가능성이 있습니다:

• The Adventures of Sharkboy and Lavagirl – 2005년에 나온 꽤 유명한 어린이 영화로, 비슷한 이름입니다.
• 2024년 개봉한 Shark Girl이라는 공포/스릴러 영화 – 덜 유명하지만 더 최근이고 정확합니다.
• 올해 초 출간된 동명의 어린이 책 – 모델이 이 정보를 학습했을 수도 있고 아닐 수도 있습니다.

이 중 어느 것도 명확한 답이 아니기 때문에, “평평한” 확률 분포가 나타나고, 한 가지 주제나 이야기에 집중하지 못합니다. 더 효과적인 프롬프트는 사용자가 어떤 예시를 말하는지 맥락을 제공해야 합니다.

이렇게 모호하고 관련성이 낮은 정보가 섞이면, 상상 속 상어 이야기에 대한 그럴듯한 줄거리가 만들어질 수 있습니다.

환각 가능성을 낮추려면 불확실성을 줄여야 합니다.

AI 환각의 유형

지금까지 환각을 넓게 설명했지만, 실제로는 AI의 거의 모든 영역에 영향을 미칩니다. 명확하게 이해하려면 유형별로 나누어 보는 것이 좋습니다.

사실 오류

딸기 예시가 여기에 해당합니다. 사실인 진술에 세부적인 오류가 포함된 경우입니다. 예를 들어, 어떤 사건이 일어난 연도, 국가의 수도, 통계 수치 등이 있습니다.

전반적으로 괜찮은 답변에서도, 사람들이 잘 기억하지 못하는 세부 정보(정확한 숫자 등)에서 오류가 생기면 특히 위험할 수 있습니다.

허구의 내용

2023년, 구글의 Bard가 제임스 웹 망원경이 외계 행성의 첫 사진을 찍었다고 잘못 주장한 일이 있었습니다. 이는 단순한 기술적 부정확성이 아니라, 명백한 허위 사실이었습니다.

이런 경우는 위와 같이 대담한 주장일 수도 있지만, 더 자주 나타나는 형태는 존재하지 않는 URL, 혹은 만들어낸 코드 라이브러리와 함수 등입니다.

사실 오류와 조작된 내용 사이의 경계가 항상 명확한 것은 아니라는 점도 주목할 만합니다.

예를 들어 연구자에 대해 이야기한다고 가정해봅시다. 논문의 연도를 잘못 인용하면 사실 오류입니다. 이름을 틀리게 말하면 어떻게 될까요? 이름과 연도 모두 틀리면요?

오정보

이전 두 범주 중 하나에 해당할 수 있지만, 출처가 더 명확한 잘못된 정보를 의미합니다.

구글 AI가 피자에 풀을 바르고 돌을 먹으라고 추천한 사례가 대표적입니다. 출처가 명백히 풍자적이고 무해한 자료(예: The Onion이 쓴 Reddit 댓글)였지만, 모델의 학습에는 이런 점이 반영되지 않았습니다.

AI 환각의 위험성

1. 신뢰 상실

우리는 AI에게 업무를 맡기는 자유를 누리지만, 신뢰를 잃으면서까지 그럴 수는 없습니다.

Cursor AI의 최근 사고—고객 서비스 봇이 존재하지 않는 엄격한 정책을 만들어낸 일—로 인해 많은 사용자가 구독을 취소하며 신뢰성에 의문을 제기했습니다.

2. 비용

AI가 많은 비즈니스에서 핵심 역할을 하고 있지만, 한 번의 실수로 큰 비용이 발생할 수 있습니다.

구글의 제임스 웹 환각 사례로 인해 알파벳 주가가 몇 시간 만에 1,000억 달러 하락했습니다. 이는 모델을 재학습하는 비용이 들기도 전의 일입니다.

3. 해로운 오정보

피자에 풀을 바르는 황당함에는 웃을 수 있지만, 잘못된 의약품 복용량 안내는 어떨까요?

저 역시 경고문을 읽는 대신 AI의 빠른 답변을 선호합니다. 하지만 그 답이 틀리다면요? 모든 의료 조건을 고려하지 못할 가능성이 높습니다.

3. 보안 및 악성코드

앞서 언급했듯, AI는 종종 존재하지 않는 코드 라이브러리 이름을 만들어냅니다. 존재하지 않는 라이브러리를 설치하려 하면 아무 일도 일어나지 않습니다.

이제 해커가 악성코드를 코드에 심고, 자주 환각되는 라이브러리 이름으로 업로드한다고 상상해보세요. 그 라이브러리를 설치하면, 💨순식간에💨 해킹당할 수 있습니다.

이런 공격 방식이 실제로 존재하며, 이를 슬롭스쿼팅(slopsquatting)이라고 합니다.

이름이 다소 불쾌하더라도, 설치하려는 라이브러리에 대해 항상 비판적으로 생각하고, 낯선 이름의 라이브러리는 반드시 한 번 더 확인하세요.

AI 환각을 예방하는 방법

모델을 직접 학습시키지 않는다면, 데이터나 아키텍처 측면에서 할 수 있는 일은 많지 않습니다.

하지만 다행히도, 취할 수 있는 예방책이 있으며, 이를 통해 환각 없는 AI를 제공할 수 있습니다.

신뢰할 수 있는 모델과 플랫폼 선택하기

혼자 고민할 필요는 없습니다. AI 기업들도 신뢰 유지를 최우선으로 하며, 이는 곧 환각 없는 AI를 의미합니다.

AI를 어떻게 활용하든, 대부분 몇 가지 선택지가 있으며, 좋은 AI 플랫폼은 이를 쉽게 제공합니다. 이러한 플랫폼은 환각 방지 방법에 대해 투명하게 공개해야 합니다.

RAG(검색 기반 생성) 활용하기

모델이 자체 지식에만 의존하지 않도록 하세요. RAG를 적용하면 정보가 어디에 있고, 어떻게 찾을 수 있는지 명확해집니다.

효과적인 RAG 구현 방법에 대한 간단한 안내가 있는 플랫폼에서 AI를 운영하는 것이 가장 좋습니다.

명확한 지침 추가하기

'쓰레기가 들어가면 쓰레기가 나온다'는 말을 한 번쯤 들어보셨을 겁니다.

"사용자의 질문에 답하라"는 지시만으로는 성공을 보장할 수 없습니다. 하지만 다음과 같은 지침이라면:

# Instructions

Please refer exclusively to the FAQ document. If the answer does not appear there:‍

* Politely inform the user that the information is unavailable.
* Offer to escalate the conversation to a human agent.

에이전트를 올바르게 통제할 수 있습니다. 명확한 프롬프트와 확실한 가이드라인이 예기치 않은 행동을 막는 최선의 방법입니다.

사람에 의한 검증

문제가 발생할 경우, 사람이 직접 점검하고 평가하며 AI의 오류를 바로잡을 수 있도록 준비해야 합니다.

대화 내용을 사후 검토하거나, 필요시 상위 단계로 이관할 수 있는 기능이 있다면, 어떤 부분이 효과적이고 어떤 부분이 환각 위험이 있는지 파악할 수 있습니다. 휴먼 인 더 루프—AI 기반 워크플로우에 대한 인간의 감독—은 이 분야에서 필수입니다.

지금 바로 환각 없는 AI를 사용해보세요

AI의 신뢰성에 대한 불확실성 때문에 많은 기업이 디지털 전환을 망설이고 있습니다.

Botpress의 RAG 기능, 휴먼 인 더 루프 통합, 철저한 보안 시스템은 AI를 안전하고 신뢰할 수 있게 만듭니다. 여러분의 에이전트는 여러분을 위해 일합니다. 그 반대가 아닙니다.

지금 바로 시작해보세요. 무료입니다.

자주 묻는 질문

1. 주제에 대한 사전 지식 없이 AI의 답변이 환각인지 어떻게 알 수 있나요?

주제에 대한 사전 지식 없이도 AI의 답변이 환각인지 확인하려면, 지나치게 구체적인 주장, 과도하게 자신감 있는 표현, 독립적으로 검증할 수 없는 이름·통계·인용 등이 있는지 살펴보세요. 확신이 없다면 AI에게 출처를 요구하거나 신뢰할 수 있는 외부 자료와 교차 확인해보세요.

2. 대형 언어 모델(LLM)에서 AI 환각은 얼마나 흔한가요?

AI 환각은 대형 언어 모델에서 흔하게 발생합니다. 이 모델들은 사실 검증이 아니라 확률에 따라 텍스트를 생성하기 때문입니다. GPT-4o, Claude 3.5 같은 최신 모델도 특히 맥락이 부족하거나 전문적인 주제에서는 부정확한 결과를 낼 수 있습니다.

3. 이미지 생성 등 비텍스트 기반 AI 모델에서도 환각이 발생하나요?

네, 이미지 생성 모델에서도 환각이 발생합니다. 출력 결과에 비현실적이거나 말이 안 되는 요소(예: 추가된 팔다리, 잘못된 문화적 표현 등)가 나타나는데, 이는 학습 데이터의 편향이나 부족에서 비롯됩니다.

4. 학습 데이터의 편향으로 인해 특정 언어나 문화에서 환각이 더 자주 발생하나요?

대부분의 LLM이 영어와 서구 중심 데이터로 학습되기 때문에, 대표성이 낮은 언어나 비서구 문화권에서는 환각이 더 자주 발생합니다. 그 결과 문화적 맥락이 부족한 답변이 나올 수 있습니다.

5. AI 환각의 결과로 인해 가장 위험에 처할 수 있는 산업은 어디인가요?

의료, 금융, 법률, 고객 서비스와 같은 산업이 AI 환각의 위험에 가장 많이 노출되어 있습니다. 이 분야에서 부정확한 결과는 규정 위반, 금전적 손실, 법적 문제, 사용자 신뢰 및 브랜드 평판 훼손으로 이어질 수 있습니다.