AIに聞き返されていました。直して点数は上がりましたが、いちばん高い案は選びませんでした

12点の診断結果は、会社の見え方ではなく、こちらの質問のあいまいさを測っていました。

いま、クライアントと一緒に「AI検索での見え方」を診断するツールを作っています。会社のサイトを入れると、ChatGPT・Gemini・Perplexity・GoogleのAI Overviewに同じ質問を投げて、その会社がどう答えられているかを点数にして返す、というものです。

本物の鍵をそろえて、はじめて1件を最後まで通した日のことです。結果は12点でした。

5問すべてで、ChatGPTに聞き返されていました

低いのはまだいいとして、中身を見て驚きました。ChatGPTは、5つの質問のすべてに答えていませんでした。返ってきていたのは、答えではなく「どちらの〇〇のことですか？」という聞き返しです。

同じ名前のサービスや会社が、ほかにもあったのです。AIからすれば、どれのことか分からないまま答えるより、聞き返すほうが誠実です。ChatGPTは何もまちがえていません。

つまり12点は、その会社がAIにどう見えているかではなく、こちらの質問があいまいだったことを測っていました。

「聞き返さずに答えて」は、質問ではなく前提に書きました

直し方は単純で、AIへの指示に「聞き返さずに答えてください」という一文を足すことです。ただ、どこに足すかで迷いました。

質問の文そのものに書くと、GoogleのAI Overviewにも同じ文が渡ります。AI Overviewは、ふつうの検索結果に出てくる要約なので、質問の文はそのまま「検索語」になります。人が検索しない言い回しを足せば、測りたいものから離れてしまいます。

そこで、質問とは別の「前提」の欄（system）にだけ書きました。AI Overviewには、この欄は渡りません。

質問の文　　　　見本のまま（人が検索しそうな文）
前提（system）　聞き返さずに答える、を足す
　→ ChatGPT などには届く／AI Overview の検索語は変わらない

もう一度通すと、聞き返しはなくなり、点数は29点になりました。

もっと高い案もありました

実は、もうひとつ試した案があります。質問の文に、その会社の分野を入れる案です。「〇〇とは？」ではなく「〇〇（△△のサービス）とは？」と聞く。どれのことか迷う余地がなくなるので、こちらは34点まで上がりました。

点数だけなら、こちらが上です。でも、採りませんでした。

質問に分野の言葉を入れると、AIは答えの中でその言葉をそのまま言い返します。「△△のサービスです」と書いてあれば、点数は上がります。でもそれは、AIがその会社を知っていたからではなく、こちらが質問の中で教えたからかもしれません。会社のサイトを直しても直さなくても、同じように高く出てしまうおそれがあります。

見本のまま　　　　　　12点　質問のあいまいさを測っていた
前提だけ足す（採用）　29点
質問に分野を入れる　　34点　質問で教えた言葉を、言い返されているかもしれない

このツールは、使った人が「サイトをこう直したら、AIでの見え方がこう変わった」を確かめるためのものです。最初から高めに出る物差しでは、直した効果が見えにくくなります。だから、低いほうの29点を採りました。

学んだこと

点数が低いとき、直し方は2種類ありました。点数を上げる直し方と、点数を正しくする直し方です。聞き返しを止めたのは後者で、分野を入れるのは、どちらかといえば前者でした。並べてみるまで、わたしはこの2つを同じものだと思っていました。

「いいプロンプトは、人にも伝わる説明でした」では、前提を省くとAIは勝手に埋めて進む、と書きました。今回のChatGPTは、勝手に埋めずに、ちゃんと聞き返してくれました。足りなかったのは、やはりこちらの前提のほうでした。

これからは、AIに何かを測らせるとき、点数が上がった理由まで見ようと思います。上がった理由が「こちらが教えたから」なら、それは測ったことになりません。

前後の記事

ほかの記事

熊谷大樹が書きました

間取り図をAIに渡す前に、決めた言葉は3つでした

2026-10-14　/　仕事

AIが下書きし、佐久間が確かめました

薬機法の直し方を、書く前に渡しました。変わったのは、チェックではなく書き方でした

2026-10-05　/　仕事