인공지능 환각 (AI hallucinations)

요즘 시장을 보면 AI가 시장의 지배자가 되어버린 듯한 느낌을 버릴 수가 없습니다. AI 관련 기업들이 시장에서 많은 수익을 보여주고 있으며, 빅 테크 기업들 또한 향후 시장 지배를 위해서 엄청난 투자를 하고 있습니다.

 

AI 관련 기사를 읽다 보면 AI hallucinations이라는 용어가 가끔씩 등장하는데, 대략 'AI 환각' 정도로 번역할 수 있을 것 같습니다.

최근에 AI 환각에 대한 기사가 있어서 정리해 보려고 합니다. 

원문은 Snowflake CEO explains why 'the insidious thing' about AI hallucinations isn't the occasional error 입니다.

인공지능 환각

 

AI 환각 (AI hallucinations)은 인공 지능 시스템, 특히 대형 언어 모델(LLM)이 완전히 허구이거나 부정확하지만 사실로 표시되는 반응을 생성하는 경우를 말합니다. 즉, AI 모델이 부정확하거나 오해의 소지가 있는 정보를 생성할 때 인공지능 환각이 발생합니다. 이러한 환각은 사소한 부정확성부터 완전히 조작된 정보까지 다양합니다. '환각'이라는 용어는 AI가 본질적으로 존재하지 않거나 사실이 아닌 것을 '보고' 또는 '상상'하기 때문에 사용됩니다.

 

AI 환각 예
이미지 인식: AI 시스템이 없는 물체를 볼 수 있습니다
언어 모델: AI 모델은 일관성이 있어 보이는 무의미한 텍스트를 생성할 수 있습니다

 

AI 환각은 불충분한 학습 데이터, 모델에서 내린 잘못된 가정, 모델 학습에 사용된 데이터의 편향, 처리 오류, 학습된 패턴의 잘못된 적용 등 여러 가지 요인으로 인해 발생할 수 있습니다.

AI 환각 및 투명성
AI가 모든 해답을 가지고 있는 것처럼 보일 수 있지만, 허구를 보여주는 환각일 수도 있습니다. Snowflake의 CEO인 스리다르 라마스와미는 AI 기업이 이러한 환각에 대해서 투명하게 공개해야 한다고 강조했습니다. 구글 임원 출신인 라마스와미는 최근 "로건 바틀렛 쇼" 에피소드에서 기술 기업이 사용자와의 신뢰를 구축하기 위해 AI 환각을 공개해야 한다고 말했습니다.

공개된 환각률 부족
라마스와미는 어떤 AI 회사도 자사 모델이나 솔루션에 대한 환각률을 발표하지 않는다고 지적했습니다. 그는 오류 가능성을 해결하지 않고 제품을 홍보하는 업계의 경향을 비판했습니다. 타사 추정에 따르면 최신 대형 언어 모델(LLM)은 1%에서 거의 30%의 속도로 환각을 일으킬 수 있습니다. 라마스와미는 AI 업계가 환각률에 대한 논의를 피함으로써 스스로에게 유리하지 않다고 주장했습니다.

AI 환각 방어하기
OpenAI의 CEO 샘 알트먼과 같은 일부 기술 리더들은 AI 환각을 옹호했습니다. 알트먼은 확실한 경우에만 응답하는 AI 모델은 "magic"을 잃게 될 것이라고 주장했습니다. 그는 응답하기 전에 AI가 100% 확실해야 하는 것은 모델의 매력과 유용성을 떨어뜨릴 것이라고 제안했습니다. 마찬가지로, Antropic의 공동 창립자 Jared Kaplan은 가끔씩 발생하는 챗봇 오류는 사용자에게 필요한 보상이라고 말했습니다. 그는 AI 시스템이 환각을 일으키지 않도록 훈련하면 지나치게 신중하고 효과가 떨어질 것이라고 설명했습니다.

실제 결과
AI 환각은 법적 문제와 같은 심각한 문제로 이어질 수 있습니다. OpenAI가 허위 법적 불만을 제기했다는 이유로 라디오 진행자로부터 소송을 당한 경우와 같이 AI 환각은 실제 문제로 이어졌습니다. 라마스와미는 회사의 재무 데이터를 분석하는 것과 같은 중요한 애플리케이션의 경우 AI 도구가 실수를 범할 수 없다고 강조했습니다. 환각의 음흉한 측면은 오류율뿐만 아니라 AI의 답변 중 어느 부분이 잘못되었는지에 대한 불확실성으로 인해 신뢰 문제로 이어집니다. AI 환각은 의료 진단이나 금융 거래와 같이 중요한 결정을 내리는 데 사용되는 AI 시스템의 문제가 될 수 있습니다.

내부 사용 및 가드레일
스노우플레이크의 AI 책임자인 바리스 굴테킨은 AI 환각이 프론트엔드 사용자에게 제너레이티브 AI를 배포하는 데 가장 큰 걸림돌이라고 말했습니다. 현재 많은 제너레이티브 AI 시스템이 내부적으로 사용되고 있는데, 이는 조직이 모델의 출력을 제어하고 정확성을 보장하는 데 어려움을 겪고 있기 때문입니다. 굴테킨은 AI가 할 수 있는 말과 사용할 수 있는 톤을 제한하는 가드레일을 구현하면 AI 정확도가 향상될 것이라고 언급했습니다. 이러한 가드레일은 편견을 방지하고 전반적인 신뢰성을 향상시키는 데 도움이 됩니다.

AI 정확도 향상
다양한 데이터와 소스에 더 많이 액세스하면 AI 모델이 더 정확해져 시간이 지남에 따라 반발을 줄일 수 있습니다. 굴테킨은 성공적인 사용 사례가 AI 환각에 대한 우려를 완화할 것이라고 낙관했습니다. 라마스와미는 금융 챗봇과 같은 특정 애플리케이션에는 100% 정확도가 필수적이지만, 사용자는 덜 중요한 상황에서 일부 오류를 받아들일 수 있다고 덧붙였습니다.

 

AI 환각을 줄이는 몇 가지 방법은 다음과 같습니다:
접지: AI 모델의 언어 이해를 실제 데이터에 연결합니다
데이터 템플릿: 미리 정의된 형식을 제공하여 출력 일관성을 보장합니다
응답 제한: 필터링 도구를 사용하여 AI 모델의 경계를 정의하거나 확률적 임계값을 지웁니다
증강 생성(RAG) 검색: AI 모델에 필요한 정확한 정보가 포함된 데이터베이스에 대한 액세스 권한 부여

 

요약하면, AI 환각은 AI 업계에게 아주 중요한 과제입니다. 따라서 전문가들은 AI 관련 회사들이 AI의 정확성을 개선하고 사용자와의 신뢰를 구축하기 위해 투명성, 더 나은 데이터 관리, 가드레일을 구현해야 한다고 말하고 있습니다.

 

오늘은 AI 관련 용어인 AI 환각에 대해서 정리해 봤습니다.

 

 

공부하는 초보 투자자의 정리 내용입니다. 그냥 투자 참고 내용일 뿐임을 알아주셨으면 합니다.