筆者はブログ5サイトをAIで自動運営している。楽天の広告効果を検証する実験で、8月20日に「棄却」と判定した数字を、翌21日に「採用」へ訂正する出来事が起きた。原因は単純だった。管理画面の表示名だけを見て、中身を確かめずに判断していたのだ。
今日は、その1日で逆転した判定の中身と、同じ失敗を防ぐためにやっていることを書く。
検証していた広告データと仮説
実験の名前はEXP-009。楽天アフィリエイトで「汎用バナー（トップページへのリンク）」と「商品直リンク（個別商品ページへのリンク）」のどちらがクリックされやすいかを比べるものだった。仮説はシンプルで、「読者は漠然としたトップページより、具体的な商品ページのほうをクリックしやすいはず」というものだ。
もしもアフィリエイトの管理画面でレポートを見て、8月20日の時点でこう判断した。
| 広告素材（表示名） | インプレッション | クリック | CTR |
|---|---|---|---|
| テキストリンク | 9 | 0 | 0% |
| バナー 88×31 | 14 | 12 | 85.7% |
| バナー 468×60 | 7 | 2 | 28.6% |
参考：もしもアフィリエイト レポート＞切り口別＞広告（2026-08-01〜08-21・全メディア）
この表を見て「クリック12件を稼いでいるのは『バナー 88×31』だ。バナーのほうが強い、直リンクは劣る」と読んだ。仮説とは逆の結果だったので、実験は「棄却」で判定し、「今後はバナーに寄せる」という打ち手まで決めてしまった。
広告IDで見たら数字がひっくり返った
ところが、ここでつまずいた。翌21日、CSVを広告ID列で見直したところ、表示名と中身が一致していないことに気づいた。
| 広告ID | 実際の中身 | インプレッション | クリック | CTR |
|---|---|---|---|---|
| 616 | 商品直リンク（EXP-009本体） | 14 | 12 | 85.7% |
| 620 | 汎用バナー 468×60 | 7 | 2 | 28.6% |
| 621 | 汎用テキストリンク | 9 | 0 | 0% |
参考：もしもアフィリエイト レポート（広告ID列で照合・全メディア・2026-08-01〜08-21）
前日「バナー 88×31」と表示されていた行の正体は、ID616＝商品直リンクだった。どこでもリンク（任意の商品ページへ直接リンクを作れる仕組み）で作ったリンクが、筆者の環境では登録時に指定したバナー素材名でレポートに並んでいた。中身は個別商品ページへの直リンクなのに、画面上は「バナー」に見えてしまう。
意外に思うかもしれないが、これは表示の見え方の問題であって、データそのものが間違っていたわけではない。並んでいる数字は最初から正しかった。読み違えたのはこちらだ。
訂正後にわかった広告別の実数
広告IDで照合し直すと、結論はほぼ逆になった。楽天クリック合計14件のうち12件が商品直リンク（ID616）で、汎用バナー・テキストは合わせて2件にとどまる。「商品直リンクのほうがクリックされやすい」という当初の仮説は、訂正後のデータでは支持される形になった。
ただし断っておくと、クリックされた先の購入（成約）は3素材ともゼロ件だった。今回わかったのはあくまで「クリックまでの反応」の差であり、売上の差ではない。ここを混同しないよう記録にも明記している。
判断ミスの原因は表示名の鵜呑み
原因は一つに絞れる。レポートに出ていたのは登録時に付けた素材名で、それを見て「バナーという名前が付いているのだからバナーだろう」と中身を推測してしまった。
AIにデータを読ませて運用している立場からすると、これは意外と刺さる教訓だった。AIも人間も、画面に出ている「ラベル」を鵜呑みにしやすい。ラベルは登録時の都合で付いた名前であって、中身を保証するものではない。ここで1日分の判断を無駄にした。同じように、原因を確かめる前に対策へ飛んだ失敗は以前にもある（AI導入の失敗3つ｜実際に起きた原因と対策）。
今やっている再発防止｜広告IDを先に見る
この一件のあと、運用ルールを一つ変えた。もしものレポートを見るときは、表示名を読む前にまず広告ID列を確認する。ID→中身の対応表を手元に用意しておき、表示名は補助情報としてしか使わない。
もう一つ、判定を確定させる前に「この数字はID照合済みか」をチェック項目として置くようにした。実験の判定は打ち手の変更に直結するため、確定前の一手間を惜しまないほうが、結果的に手戻りが少ない。数字を見る側の仕組みづくりは、AI監視を自動化する仕組み｜失敗を見逃さない3層構成でも同じ考え方でまとめている。
| 場面 | やめたこと | 今やること |
|---|---|---|
| レポートを開く | 表示名から中身を推測 | 広告ID列を先に見る |
| 実験の判定 | 画面の数字でその場で確定 | 「ID照合済みか」を確認してから確定 |
| 結果の読み方 | クリックの多さで良否を判断 | クリックと成約を分けて記録 |
よくある質問
Q. 表示名とIDがずれるのは、もしもアフィリエイト特有の仕様ですか。
A. 筆者の環境では、どこでもリンク（商品直リンク）が登録時に指定した素材名でレポートに表示されていました。ほかのASPでも、登録時の任意名がそのままレポート表示に使われる仕組みなら、同じことは起こり得ます。
Q. 判定を1日で覆したこと自体は問題ないのでしょうか。
A. 誤りに気づいた時点で訂正し、その経緯を記録に残しているので、判断の質としてはむしろ健全だと考えています。問題があったのは訂正したことではなく、最初にIDで照合せず表示名だけで確定させたことです。
Q. クリックが多い＝良い広告と判断してよいですか。
A. 今回の検証でもクリックは伸びましたが、購入（成約）は3素材ともゼロ件でした。クリック数と成約数は別の指標なので、片方だけで広告の良し悪しを決めないほうが安全です。
