ハルシネーション

はるしねーしょん
自然言語処理

意味・定義

AIが事実ではない情報を、もっともらしく生成してしまう現象。幻覚とも呼ばれる。

解説

AI幻覚(ハルシネーション)は、AIが事実ではない情報を、あたかも真実であるかのように生成してしまう現象です。大規模言語モデルの最も深刻な問題の一つとされています。 なぜ幻覚が起きるのか。AIは学習データのパターンから文章を生成しますが、事実かどうかを検証する能力は持っていません。もっともらしい文章を作ることが目的なので、存在しない論文を引用したり、架空の統計データを示したりすることがあります。 特に、学習データに含まれていない情報や、最新の出来事について質問された場合、幻覚が起きやすくなります。また、専門的な知識が必要な医療や法律の分野でも、誤った情報を生成するリスクが高まります。 幻覚を防ぐには、いくつかの対策があります。RAG(Retrieval-Augmented Generation)で外部の信頼できる情報源を参照させる、複数のソースで事実確認する、重要な情報はAIの出力をそのまま信じずに人間が検証する、などです。

使い方・例文

  • "ChatGPTに「2023年のノーベル物理学賞受賞者は誰ですか」と質問すると、存在しない研究者の名前を挙げることがあります。また、「〇〇という論文を要約してください」と頼むと、実在しない論文の内容を創作してしまうこともあります。 法律相談で判例を尋ねた際、実在しない判例を引用したり、判決内容を誤って説明したりする事例も報告されています。医療分野では、存在しない薬剤名や治療法を提示してしまうリスクがあるため、専門家による確認が不可欠です。このため、医療や法律など重要な判断が必要な分野では、AIの出力を必ず人間の専門家が検証する体制が求められています。"

関連語

関連記事