安心・安全

AIはなぜ堂々と間違えるのか
【ハルシネーションとの付き合い方】

AIに何かを尋ねると、すらすらと答えが返ってきます。文章は整っていて、自信に満ちていて、出典まで添えてあることもある。

そして、まるごと間違っていることがあります。

この現象は「ハルシネーション(幻覚)」と呼ばれます。AIを使ううえで、これを知っているかどうかが最大の分かれ目です。

なぜ「分かりません」と言わないのか

技術的な説明を省いて、実用上いちばん役に立つ理解をお伝えします。

AIは、事実を調べて答えているのではありません。

膨大な文章を学習した結果、「この質問には、こういう言葉が続くことが多い」という予測で文章を作っています。

つまり、答えているのではなく「答えらしいもの」を組み立てているのです。

だから、答えらしい形は完璧なのに中身が事実でない、ということが起こります。そしてAI自身は、それが事実かどうかを判断していません。嘘をついているつもりもありません。

間違えやすいのはどこか

やみくもに疑う必要はありません。間違えやすい場所は決まっています。

内容危険度理由
統計・数値・年号もっともらしい数字を作り出します
固有名詞(店名・書名・法律名)実在しないものを平然と挙げます
URL・出典存在しないリンクを作ることがあります
最近の出来事学習した時点より後のことは知りません
専門分野の細部(医療・法律)断定的に、かつ誤って答えることがあります
文章を整える・言い換える事実を必要としないので安全です
アイデア出し・叩き台正しさより発想が目的なので問題ありません
一般的な考え方の説明大筋は合っていることが多いですが確認を

この表を頭に入れておくだけで、事故はほとんど防げます。「事実」を扱うときは疑い、「言葉」を扱うときは信じる。これが目安です。

見抜く3つの方法

1. 「分からないなら分からないと書いて」と先に言う

そのまま使える指示文「答えられない部分や、確信が持てない部分は『分かりません』と書いてください。推測で補わないでください。」

これを入れるだけで、正直に「分かりません」と返ってくる割合が上がります。最も手軽で効果的な対策です。

2. 同じことを2回、別の聞き方で尋ねる

本当に知っていることなら、聞き方を変えても答えは同じです。答えがぶれたら、それは作られた答えだと考えてください。

3. 固有名詞と数字は、必ず自分で確認する

店名が出てきたら検索する。数字が出てきたら出典にあたる。面倒ですが、これに代わる方法はありません。

AIが出してきたURLをそのまま開いてみるのも有効です。存在しなければ、その情報全体を疑うべきです。

絶対にAIに決めさせてはいけないこと

この3つは人が決める ① 健康と薬。症状から病名を判断させない。受診するかどうかを決めさせない。飲み合わせを判断させない。

② お金。投資判断、保険の選択、税務処理。

③ 法律。契約の可否、権利関係の判断。

これらは間違いがそのまま実害になる領域です。調べる道具としては使えますが、決める役割は必ず人が持ってください。

それでもAIは使う価値がある

ここまで読んで「やっぱり危ないのでは」と思われたかもしれません。

そうではありません。間違える道具だと知って使えば、AIはきわめて強力です。電子レンジも包丁も、性質を知らずに使えば危ないのと同じことです。

むしろ危ないのは、AIは何でも正しく答えてくれると思い込んでいる状態です。この記事を読んだ方は、もうその状態ではありません。

まとめ

  1. AIは事実を調べていない。答えらしい文章を組み立てている
  2. 数字・固有名詞・出典・最近の出来事が特に危ない
  3. 「推測で補わないで」を毎回添える
  4. 健康・お金・法律は、必ず人が決める

▶ あわせて読みたい:AIに健康のことを聞いてもいい?思い通りの答えが返ってくる頼み方の型