調査手法. 2026年11月9日確認
測れるものと、測れないもの
デモは手作業のサンプルデータです。以下に示す自社サイトの監査は、別途実施した実際の技術検証です。今後AI回答を測定する際も、方法と限界を明示する必要があります。
このページの内容
サンプルと、実測の違い
説明用デモ
- デモの回答・名前・数値は手作業で作成しています。
- プレビューはアシスタントへの問い合わせやサイトのスキャンを行いません。
- サンプルは顧客の成果を示すものではありません。
- 自社サイトの技術検証は以下で別途記録しています。
実際の測定に必要なもの
- 日付、経路、設定とともに保存された実行。
- 御社自身が読める回答の原文。
- すべての結果の横に、実行回数。
- 単一のスコアではなく、範囲。
自社サイト:記録に基づく技術監査
2026年11月8日、サイト全体のインデックス拒否設定を解除した後、winanswer.comを監査しました。自社サイトの事例であり、顧客の事例ではありません。
本番監査では多言語の140ページを検証しました。内訳はサイトマップの公開URL112件と、意図的に除外した補助・デモページ28件です。正規URL、言語別URL、インデックス指示、構造化データ、内部リンクの検証で不合格はありませんでした。
Googleのライブテストでは/en/servicesがGoogleにアクセス可能でインデックス登録可能と表示され、登録をリクエストしました。検索結果への掲載を確認したわけではありません。
デモのデータは、こうして作りました
コンセプトプレビューのすべて、ホームのサンプル回答、製品ページのパネルは、デモ用に、これを作っている私たちが手書きしたものです。
- どのシステムにも問い合わせていません。 アシスタントも、APIも、スクレイパーも、検索エンジンも使っていません。
- 実在のブランドはありません。 競合はA、B、Cと表記し、実在の企業名と重なることがないようにしています。
- 割合や件数は、画面の見え方を示すために選んだものです。 何らかの分布から得たものではなく、どの業種についても何も語りません。
- 回答は回答らしく読めますが、 私たちが書いたものです。モデルが返したものではありません。
- 写真はストック画像で、 雰囲気を出すために使っています。顧客、取引先、成果を写したものではありません。
測れるもの
| 測定内容 | 方法 | どこまで信頼できるか |
|---|---|---|
| サンプリングした1つの回答で、ブランドが挙がるかどうか | 回答を読む。 | その回の結果としては高い。次の回については、ほとんど何も言えない。 |
| 繰り返しの実行で、ブランドがどれくらい挙がるか | 同じ質問を多数回実行して数える。 | 中程度。実行回数が増えるほど向上する。範囲で報告する。 |
| 回答が示す情報源 | 表示された引用を記録する。 | 中程度。すべてのアシスタントが情報源を示すわけではなく、示された情報源が回答を形づくった証拠にもならない。 |
| 述べられた事実が、御社のページと一致しているか | 主張とページを突き合わせる。 | 事実が確認できる場合は高い。 |
| 時間経過による変化 | 変更の後、同じ質問を繰り返す。 | 中程度。差が通常のばらつきより大きい場合に限る。 |
測れないもの
- 需要
- ある質問がどれくらい尋ねられているか。提供元は、プロンプトの件数を外部に共有していません。したがって、件数に関する数字はどれも、見えないものの推定です。
- 非公開の回答
- ログインしていて、長い履歴を持つ人が何を伝えられるか。記憶や所在地によって回答は変わりえますが、サンプルではそれを再現できません。
- 理由
- システムがなぜあるブランドを選んだか。Googleは、サードパーティのツールが同社の内部ランキングやAIシステムにアクセスすることはできないと述べています。
- 正確な順位
- 順序は実行ごとに入れ替わります。そのため、私たちは頻度で報告します。
- 因果
- 御社の対策が変化を生んだかどうか。改善と一致する変更もあれば、そうでないものもあります。
- 全員
- 実行の集まりは、アシスタントが言いうることの標本であり、購入検討者が見たものの全数調査ではありません。
回答はばらつく
2026年1月に報告された、SparkToroと追跡ベンダーのGumshoeによる調査では、ChatGPT、Claude、GoogleのAI結果にわたって、2,961件のプロンプトが実行されました。ブランド推薦の質問を繰り返し実行したところ、同じブランドのリストが現れたのは実行の1%未満で、同じ順序の同じリストは0.1%未満でした。ブランドがそもそも登場する頻度は、登場する位置よりも安定していました。
注意点が重要です。この調査は査読を受けておらず、著者の1人は追跡サービスを販売する企業と協力しており、著者自身もより大規模な追跡調査を求めています。慎重さを促す証拠として扱ってください。
競合A
10回中8回で挙がりました
競合B
10回中6回で挙がりました
御社のブランド
10回中3回で挙がりました
説明のために手書きしたもので、何も測定していません。競合Aはほとんどの実行で登場し、御社のブランドは3回です。1回の実行では、ほとんど何も分からなかったでしょう。名前の順序も変わります。
旧市街に近い、静かなブティックホテル
6回中1回目の実行
- 1競合A
- 2競合B
- 3競合C
この回答に、御社のブランドは含まれていません。
ここまでの実行1回のうち、御社のブランドが挙がったのは0回
説明のために手書きしたものです。同じ質問でも、毎回異なるリストが返り、順序も変わります。
私たちが取る対応
- すべての質問を何度も実行し、その回数を示す。
- ブランドが挙がる頻度を、順位ではなく範囲で報告する。
- 通常のばらつきより小さな変化は、誤差として表示する。
アプリかAPIか。その数字は、どちらの経路で得たか
回答を集める方法は、大きく分けて2つあります。コンシューマー向けアプリは、購入検討者が目にするものです。開発者向けインターフェースは、大量に実行しやすい一方で、モデルのバージョンが異なったり、ウェブ検索などのツールや設定が異なったりすることがあります。両者の結果は食い違うことがあります。
AI検索の追跡サービスを販売するSurferは、2026年8月に、複数の製品にわたる1,000件のプロンプトと13,779件の回答を比較した結果を公開しました。それによると、返されたままのブランドリストは、アプリとAPIの結果の間で約15.5%から23.8%しか重なっていませんでした。同社のデータでは、ChatGPTのアプリは1回答あたり12.1件の情報源を引用したのに対し、API経由では3.1件でした。各プロンプトは1回しか実行されていないため、差の一部は通常のばらつきかもしれません。また、同社は自社が優先するスクレイピング方式を販売しています。ベンダーデータとして読んでください。
| 経路 | 強み | 主なリスク |
|---|---|---|
| コンシューマー向けアプリ(手作業またはツールでサンプリング) | 購入検討者が目にするものに最も近い。 | 遅く、拡張しにくい。自動収集は提供元の規約で制限されている可能性があり、私たちは最初にそれを確認する。 |
| 開発者向けインターフェース | 大量に繰り返しやすい。 | 購入検討者が見るものと一致しない可能性がある。 |
4つの別のものが、ひとまとめに報告される
4つの異なるものが、しばしば1つの可視性の数字として報告されます。私たちは、これらを分けて扱います。
- 挙がる
- 回答の中で、御社のブランドに言及がある。
- 推薦される
- 御社のブランドが好意的な理由とともに挙げられている、または推奨される選択肢として置かれている。
- 引用される
- 御社のページが情報源としてリンクされている。
- 正しく説明される
- 回答の中の事実が、御社のページの事実と一致している。
- 回答は、選び方の情報源として御社のガイドにリンクしている。
- その後、ほかの2製品を名前を挙げて推薦している。
- 引用: されている。推薦: されていない。 リンクを数えるツールなら、これを成功と数えるだろう。
私たちが自らに課す基準
- すべての結果の横に、実行回数と日付を示す。
- 要約の隣に、回答の原文を読める状態で置く。
- 各数字について、アシスタント、経路、市場、言語を明記する。
- 範囲で示す。作り方を公開せずに、単一の可視性スコアを公表しない。
- 差が通常のばらつきの範囲内であれば、そう述べる。
- 自社の主張に対する訂正を、公開の記録として残す。
- 順位、言及、成果を約束しない。
まだ分かっていないこと
- 質問ごとに何回実行すれば十分か。研究者もこれを未解決の問題として挙げています。
- 言語によって回答が意味のある形で異なるかどうか。異なる可能性があると考えていますが、検証はしていません。
- 御社が行った変更で、Google以外のアシスタントの回答が変わるかどうか。
- 大げさな主張にならない範囲で、変更をトラフィックや問い合わせにどこまで結び付けられるか。
これらは、デザインパートナーと一緒に学びたいことであり、期待外れの結果であっても、分かったことは公開します。
出典と、その使い方
2026年11月6日に確認しました。一次資料がある場合は、そのリンクを掲載しています。この市場に製品を販売している企業の数字は、測定を売る側には結果に対する利害があるため、ベンダーデータと表示しています。
二次的な報道
Search Engine Journal: SparkToroとGumshoeの調査について2026年1月、2,961件のプロンプト。AI追跡ベンダーとの共同実施で、査読は受けておらず、著者も手法上の限界を指摘しています。
ベンダーデータ
Surfer: スクレイピングしたAI回答とAPI結果の比較データ収集は2026年8月4日。Surferは、スクレイピングしたデータによる追跡を販売しています。各プロンプトは1回しかサンプリングされておらず、記事自身による手法の説明にも、一貫しない箇所があります。
一次資料
Google: 生成AI検索のための最適化サードパーティのツールはGoogleの内部ランキングやAIシステムにアクセスできない、という記述の出典。ページに日付の記載はありません。
一次資料
OpenAI: OpenAIクローラーの概要クローラーの目的と、それぞれ独立したrobots.txtの設定。
あわせて読む
