保存する直前、読み返していて指が止まった。
「読んでもらった方から一番多かった反応が、これでした」――そう本文に書いてあるのに、そんな声をもらった覚えがない。AIが、存在しない読者の反応を勝手に作っていた。5つのブログをAIに書かせて自動で回しているが、ここまで具体的な嘘を見たのは初めてだった。この記事は、AI記事のファクトチェックで数字より見落としやすい「声の捏造」の実録だ。
AIに書かせた記事で、読者の声を捏造していた（実録）
ある記事の冒頭で、AIは「読んでもらった方から一番多かった反応が『で、結局どう書いているんですか』でした」と書いていた。臨場感のある、いかにもありそうな一文だった。
ただ、実際にそんな声をもらった記憶がない。書いた本人が読んでも「言ってない」としか思えなかった。調べると、この記事を書いた本当の動機は別にあった。ひと月ほど前に決めていた「記録は無料で公開し、まとめた道具だけ有料にする」という方針を、AIは読者の声という形に脚色して書いていたらしい。
公開前に気づけたのは正直たまたまだ。読み飛ばしていたら、実在しない感想を実話として世に出すところだった。
翌日、別のAI記事でも同じ罠にはまりかけた
この件の翌日、別の記事の下書きにも似た芽があった。専門職の視点で解説する記事の中で、AIが「窓口で3回突き返された」という個人の体験談を書きかけていたのだ。
これも実際にあった話ではない。裏付けになる記録がどこにもなかった。前日の一件がまだ記憶に新しかったので、公開前に見つけて削除し、体験談ではなく専門職視点の一般的な解説に書き直した。
二日連続で同じ型の事故が起きた。うっかりではなく、AIが繰り返しやってくる書き方のクセだと考えたほうがいい。
なぜ「感想」はファクトチェックをすり抜けるのか
AI記事のファクトチェックというと、数字や固有名詞のズレを疑う話だと思われがちだ。実際、当ブログでも数字のハルシネーション対策は先に手をつけていた。
ところが「読者からの反応」「お客様の声」のような他人の発言は、数字とは違う顔をしている。間違っているかどうかを照合する対象が、そもそも存在しない。だから「事実と違う」というより「事実かどうか確かめようがない」まま、もっともらしい顔をして本文に居座る。
文体をチェックする仕組みを動かしていても、ここは拾えなかった。理由は単純で、機械チェックは「よく聞かれるんですが」のような既知の言い回しのリストと照合しているだけで、「読者の反応が」という新しい型までは登録していなかったからだ。
| チェックの対象 | 機械的なファクトチェックで拾えるか |
| 数値・日付・固有名詞 | 拾える（一次情報と照合できる） |
| 制度名・料金プラン | 拾える（公式ページと突き合わせられる） |
| 体験を装う既知の定型句 | 登録済みのリストなら拾える |
| 他人の発言・読者の反応 | 拾いにくい（照合先が存在しない） |
| 個人の未公開の体験談 | 拾いにくい（裏付けが本人の記憶にしかない） |
※この表は当ブログの運用上の整理であり、公的に定まった分類ではありません。
AIのハルシネーションは2種類ある｜数字の嘘と、声の嘘
調べ直してわかったのは、AIの嘘には大きく2つの型があるということだった。ひとつは、学習した事実と食い違う内容を出してしまう「事実誤認」型。もうひとつは、学習データに無いことをそれらしく作ってしまう「捏造」型で、存在しない出典や発言はここに入る。
この2つは、対処のしかたがまるで違う。前者は照合すれば見つかる。後者は照合する先そのものが無い。今回の「読者の反応」は完全に後者だった。数字ではないから、いつものチェックリストには引っかからない。ここが今回の一番の学びだった。
参考：ハルシネーション（用語解説・野村総合研究所）＝学習データと異なる事実を出す型と、学習データに存在しないことを出す型の2つに分類されると整理されている
AI記事のファクトチェックで見るべき3つの視点
この経験から、AIに記事を書かせるときに見る視点を3つに増やした。
1つ目は、数字と固有名詞。ここは従来どおり一次情報と照合する。
2つ目は、体験を装う定型句。「よく聞かれるんですが」「見せてもらうと」のような、検証しようのない場面を勝手に作る言い回しがないか探す。
3つ目は、他人の発言・感想として書かれた一文。「読んでもらった方から」「お客様から」のように、自分以外の誰かの言葉として紹介されている箇所は、実際にその発言や記録が手元にあるかどうかを一つずつ確認する。ここが今回いちばん抜けていた視点だ。
正直、3つ目は面倒くさい。見た目には一番それっぽく書けてしまう箇所だからこそ、疑いにくい。
いま、保存前にやっていること
この一件のあと、保存前のチェック項目を1つ増やした。本文中に「反応が」「の声」「お客様から」といった、他人の発言を紹介する言い回しが出てきたら、いったん手を止めて「その発言、どこかに記録が残っているか」を確認する。
記録がなければ、その一文は削除するか、事実に基づく説明に書き直す。数字のハルシネーション対策のときと同じで、チェック項目を1つ増やすだけで再発は防げる話だった。
ただし増やしすぎると別の問題が起きる。言い回しを片っ端から禁止すると、自然に書けていた表現まで一緒に弾かれてしまう。今回増やしたのは「照合先が存在しない発言」に絞った。
よくある質問
Q. AIが嘘をつくのは珍しいことですか？
A. 珍しくはありません。事実誤認だけでなく、存在しない出典や発言を作ってしまう捏造型のハルシネーションも知られています。数字だけでなく、他人の発言として書かれた箇所にも同じリスクがあります。
Q. 機械的なチェックツールだけで防げますか？
A. 防ぎきれません。機械チェックは既知の言い回しのリストと照合する仕組みが中心で、新しい型の捏造までは拾えないことがあります。公開前に人の目で、他人の発言として書かれた箇所を確認する工程が必要です。
Q. 気づいたときはどう直せばいいですか？
A. 実在しない発言や体験は削除し、実際の動機や事実に基づく説明に書き直します。同じ担当に再度書かせる場合も、修正内容を記録に残しておくと次の再発を防ぎやすくなります。
まとめ｜AI記事のファクトチェックは「誰が言ったか」から
AI記事のファクトチェックというと、数字や固有名詞のことだと思いがちだった。でも今回引っかかったのは、もっと見えにくいところだった。
「読んでもらった方から」「お客様から」――他人の発言として紹介されている一文を見たら、まず「それ、本当に誰かが言ったのか」を疑う。文体を数値でチェックする仕組みを持っていても、ここだけは今のところ人の目に頼っている。
正直、この作業は好きじゃない。地味だし、疑ってかかるのは気が重い。それでも、実在しない読者の声を世に出すよりはましだと思っている。
