AIは、なぜ間違えるのに「それっぽく」答えられるのか？ハルシネーションとの付き合い方

AIを使っていると、たまに妙なことが起きます。文章は自然、説明も分かりやすい、なんだか詳しそう。なのに、よく調べてみると間違っている。しかも、「たぶん間違っています」という感じではなく、普通に堂々と答えてくる。これがAIを使うときの、かなり重要なポイントです。AIは「嘘をつこう」としているわけではありません。でも、間違ったことを自然に答えることがある。今回は、この現象の正体と、僕ならどこまで信用するのかを整理してみます。

まず「ハルシネーション」という言葉
AIの間違った回答について調べていると、「ハルシネーション」という言葉が出てきます。日本語にすると「幻覚」などと訳され、AIの世界では、実際には存在しない情報や根拠のない内容を、もっともらしく生成してしまう現象を指す言葉として使われます。例えば、「そんな本を書いた人は存在しないのに、著者名・出版年・内容まで説明してしまう」というようなことが起こります。ここで大事なのは、AIが人間のように「嘘をつこう」と考えているわけではない、ということです。AIを人間のような「ものすごく物知りな人」と考えると、少し分かりにくくなります。大規模言語モデルは、大量のデータから学習したパターンをもとに、入力された文脈に続く言葉を生成していきます。だから、「正しい答えをデータベースから取り出している」というイメージとは少し違います。とても自然な文章を作る能力と、現実世界の事実を保証する能力は、同じものではありません。例えば人間でも、話すのがものすごく上手な人が、必ずしも全部正しいことを言っているとは限りません。逆に、口下手だけれど、言っていることは正確な人もいます。AIも似ています。文章の自然さと、情報の正確さは別の軸です。だから、「こんなに詳しく説明しているから正しいだろう」ではなく、「これは確認したほうがいい情報かな？」と考える習慣が必要になります。ここを理解すると、「なんでAIがこんな間違いをするの？」という疑問が少し分かりやすくなります。

僕なら「重要度」で扱いを変える
だからといって、「AIは間違えるから何も信用できない」という話でもありません。僕なら、情報の重要度によって扱いを変えます。軽い用途——アイデア出し、文章の下書き、言い換え、構成案など。確認が必要な用途——商品情報、会社情報、数字、制度、最新情報など。必ず確認したい用途——お金、法律、医療、安全、契約など、間違える影響が大きいもの。AIを使うこと自体をやめる必要はありません。「AIの答えをそのまま使う仕事」と「AIを材料として使う仕事」を分ける。これだけでも、かなり安全になります。情報の確認が必要なときは、AIに追加で質問することもできます。「その情報の根拠を示してください」「確認が必要な情報と、一般的な説明を分けてください」といった頼み方です。ただし、ここにも注意が必要です。AIが出した「出典らしきもの」が、必ず存在する正しい情報とは限りません。重要な情報なら、実際の一次情報まで確認する。ここは省略しないほうがいいと思っています。また最近のAIは、検索と組み合わせて使えるものも増えています。最新情報を調べたり、複数の情報を整理したり、長い資料をまとめたりできるので、かなり便利です。ただ、「検索できるAIだから全部正しい」という意味ではありません。検索結果にも、古い情報、誤った情報、偏った情報などが混ざることがあるからです。AIに調べてもらう→情報源を見る→必要なら一次情報を確認する、という流れを意識したいと思います。小さな事業では、ここが意外と重要です。例えば自分のお店についてAIに文章を書いてもらうとします。そのとき、AIが作った文章をそのまま掲載するのではなく、本当にその商品を扱っているか、価格は現在も正しいか、営業時間は合っているか、場所は正しいか、サービス内容に間違いはないか、自分の実際の考えと合っているかを確認する。これはAI以前に、Webサイトを運営するうえでも大事なことです。AIによって文章を作るスピードが上がるほど、「確認する仕事」の重要性も上がるのです。

まとめ｜疑うのでもなく、信じ切るのでもなく
僕は、「AIを信用するか、信用しないか」という二択にしないほうがいいと思っています。AIは広げる・整理する・下書きする。人間は目的を決める・選ぶ・判断する。一次情報は事実を確かめる。こうやって役割を分ける。AIに全部を任せる必要もないし、AIを全部疑って使わない必要もない。道具として、使う場所を決めればいい。僕が一番怖いのは「AIが間違えること」ではありません。人間が確認する習慣をなくしてしまうことです。「AIが言ったから」「検索したら出てきたから」「それっぽく書いてあるから」。これだけで判断するようになると、AIが間違えたときに、そのまま間違いが広がってしまいます。AIが便利になるほど、人間側の確認力が大切になる。質問のときに「分からないなら分からないと言って」「確かな情報がない場合は推測せず、その旨を明記してください」という条件を入れておくのも一つです。これを書いたから絶対に間違えなくなるわけではありませんが、「分からないことを分からないまま扱う」という姿勢は、AIを使う側にも必要だと思います。僕自身も、AIについて記事を書く以上、AIから得た情報をそのまま信じるわけにはいきません。最新情報や制度、数字、サービス仕様などは、できるだけ一次情報を確認する。そして「これは事実なのか」「これは僕の考えなのか」を分ける。これもWeb整理の一部です。使えるところでは使う。確認が必要なところでは確認する。分からないところは、分からないままにしない。たぶん、これくらいが現実的なAIとの付き合い方なんだと思います。