メインコンテンツへ移動

調査手法. 2026年11月9日確認

測れるものと、測れないもの

デモは手作業のサンプルデータです。以下に示す自社サイトの監査は、別途実施した実際の技術検証です。今後AI回答を測定する際も、方法と限界を明示する必要があります。

このページの内容

サンプルと、実測の違い

説明用デモ

  • デモの回答・名前・数値は手作業で作成しています。
  • プレビューはアシスタントへの問い合わせやサイトのスキャンを行いません。
  • サンプルは顧客の成果を示すものではありません。
  • 自社サイトの技術検証は以下で別途記録しています。

実際の測定に必要なもの

  • 日付、経路、設定とともに保存された実行。
  • 御社自身が読める回答の原文。
  • すべての結果の横に、実行回数。
  • 単一のスコアではなく、範囲。

自社サイト:記録に基づく技術監査

2026年11月8日、サイト全体のインデックス拒否設定を解除した後、winanswer.comを監査しました。自社サイトの事例であり、顧客の事例ではありません。

本番監査では多言語の140ページを検証しました。内訳はサイトマップの公開URL112件と、意図的に除外した補助・デモページ28件です。正規URL、言語別URL、インデックス指示、構造化データ、内部リンクの検証で不合格はありませんでした。

Googleのライブテストでは/en/servicesがGoogleにアクセス可能でインデックス登録可能と表示され、登録をリクエストしました。検索結果への掲載を確認したわけではありません。

日付付きURL検証結果をダウンロード(CSV)

デモのデータは、こうして作りました

コンセプトプレビューのすべて、ホームのサンプル回答、製品ページのパネルは、デモ用に、これを作っている私たちが手書きしたものです。

  • どのシステムにも問い合わせていません。 アシスタントも、APIも、スクレイパーも、検索エンジンも使っていません。
  • 実在のブランドはありません。 競合はA、B、Cと表記し、実在の企業名と重なることがないようにしています。
  • 割合や件数は、画面の見え方を示すために選んだものです。 何らかの分布から得たものではなく、どの業種についても何も語りません。
  • 回答は回答らしく読めますが、 私たちが書いたものです。モデルが返したものではありません。
  • 写真はストック画像で、 雰囲気を出すために使っています。顧客、取引先、成果を写したものではありません。

測れるもの

サンプリングした1つの回答で、ブランドが挙がるかどうか回答を読む。その回の結果としては高い。次の回については、ほとんど何も言えない。
繰り返しの実行で、ブランドがどれくらい挙がるか同じ質問を多数回実行して数える。中程度。実行回数が増えるほど向上する。範囲で報告する。
回答が示す情報源表示された引用を記録する。中程度。すべてのアシスタントが情報源を示すわけではなく、示された情報源が回答を形づくった証拠にもならない。
述べられた事実が、御社のページと一致しているか主張とページを突き合わせる。事実が確認できる場合は高い。
時間経過による変化変更の後、同じ質問を繰り返す。中程度。差が通常のばらつきより大きい場合に限る。

測れないもの

需要
ある質問がどれくらい尋ねられているか。提供元は、プロンプトの件数を外部に共有していません。したがって、件数に関する数字はどれも、見えないものの推定です。
非公開の回答
ログインしていて、長い履歴を持つ人が何を伝えられるか。記憶や所在地によって回答は変わりえますが、サンプルではそれを再現できません。
理由
システムがなぜあるブランドを選んだか。Googleは、サードパーティのツールが同社の内部ランキングやAIシステムにアクセスすることはできないと述べています。
正確な順位
順序は実行ごとに入れ替わります。そのため、私たちは頻度で報告します。
因果
御社の対策が変化を生んだかどうか。改善と一致する変更もあれば、そうでないものもあります。
全員
実行の集まりは、アシスタントが言いうることの標本であり、購入検討者が見たものの全数調査ではありません。

回答はばらつく

2026年1月に報告された、SparkToroと追跡ベンダーのGumshoeによる調査では、ChatGPT、Claude、GoogleのAI結果にわたって、2,961件のプロンプトが実行されました。ブランド推薦の質問を繰り返し実行したところ、同じブランドのリストが現れたのは実行の1%未満で、同じ順序の同じリストは0.1%未満でした。ブランドがそもそも登場する頻度は、登場する位置よりも安定していました。

注意点が重要です。この調査は査読を受けておらず、著者の1人は追跡サービスを販売する企業と協力しており、著者自身もより大規模な追跡調査を求めています。慎重さを促す証拠として扱ってください。

説明用の例
1つの質問を10回尋ねる
  • 競合A

    10回中8回で挙がりました

  • 競合B

    10回中6回で挙がりました

  • 御社のブランド

    10回中3回で挙がりました

説明のために手書きしたもので、何も測定していません。競合Aはほとんどの実行で登場し、御社のブランドは3回です。1回の実行では、ほとんど何も分からなかったでしょう。名前の順序も変わります。

説明用の例
1つの質問を6回サンプリングする様子を順に見る

旧市街に近い、静かなブティックホテル

6回中1回目の実行

  1. 1競合A
  2. 2競合B
  3. 3競合C

この回答に、御社のブランドは含まれていません。

ここまでの実行1回のうち、御社のブランドが挙がったのは0回

説明のために手書きしたものです。同じ質問でも、毎回異なるリストが返り、順序も変わります。

私たちが取る対応

  • すべての質問を何度も実行し、その回数を示す。
  • ブランドが挙がる頻度を、順位ではなく範囲で報告する。
  • 通常のばらつきより小さな変化は、誤差として表示する。

アプリかAPIか。その数字は、どちらの経路で得たか

回答を集める方法は、大きく分けて2つあります。コンシューマー向けアプリは、購入検討者が目にするものです。開発者向けインターフェースは、大量に実行しやすい一方で、モデルのバージョンが異なったり、ウェブ検索などのツールや設定が異なったりすることがあります。両者の結果は食い違うことがあります。

AI検索の追跡サービスを販売するSurferは、2026年8月に、複数の製品にわたる1,000件のプロンプトと13,779件の回答を比較した結果を公開しました。それによると、返されたままのブランドリストは、アプリとAPIの結果の間で約15.5%から23.8%しか重なっていませんでした。同社のデータでは、ChatGPTのアプリは1回答あたり12.1件の情報源を引用したのに対し、API経由では3.1件でした。各プロンプトは1回しか実行されていないため、差の一部は通常のばらつきかもしれません。また、同社は自社が優先するスクレイピング方式を販売しています。ベンダーデータとして読んでください。

コンシューマー向けアプリ(手作業またはツールでサンプリング)購入検討者が目にするものに最も近い。遅く、拡張しにくい。自動収集は提供元の規約で制限されている可能性があり、私たちは最初にそれを確認する。
開発者向けインターフェース大量に繰り返しやすい。購入検討者が見るものと一致しない可能性がある。

4つの別のものが、ひとまとめに報告される

4つの異なるものが、しばしば1つの可視性の数字として報告されます。私たちは、これらを分けて扱います。

挙がる
回答の中で、御社のブランドに言及がある。
推薦される
御社のブランドが好意的な理由とともに挙げられている、または推奨される選択肢として置かれている。
引用される
御社のページが情報源としてリンクされている。
正しく説明される
回答の中の事実が、御社のページの事実と一致している。
説明用の例
御社を引用しながら、競合を推薦する回答
  • 回答は、選び方の情報源として御社のガイドにリンクしている。
  • その後、ほかの2製品を名前を挙げて推薦している。
  • 引用: されている。推薦: されていない。 リンクを数えるツールなら、これを成功と数えるだろう。

私たちが自らに課す基準

  • すべての結果の横に、実行回数と日付を示す。
  • 要約の隣に、回答の原文を読める状態で置く。
  • 各数字について、アシスタント、経路、市場、言語を明記する。
  • 範囲で示す。作り方を公開せずに、単一の可視性スコアを公表しない。
  • 差が通常のばらつきの範囲内であれば、そう述べる。
  • 自社の主張に対する訂正を、公開の記録として残す。
  • 順位、言及、成果を約束しない。

まだ分かっていないこと

  • 質問ごとに何回実行すれば十分か。研究者もこれを未解決の問題として挙げています。
  • 言語によって回答が意味のある形で異なるかどうか。異なる可能性があると考えていますが、検証はしていません。
  • 御社が行った変更で、Google以外のアシスタントの回答が変わるかどうか。
  • 大げさな主張にならない範囲で、変更をトラフィックや問い合わせにどこまで結び付けられるか。

これらは、デザインパートナーと一緒に学びたいことであり、期待外れの結果であっても、分かったことは公開します。

出典と、その使い方

2026年11月6日に確認しました。一次資料がある場合は、そのリンクを掲載しています。この市場に製品を販売している企業の数字は、測定を売る側には結果に対する利害があるため、ベンダーデータと表示しています。

あわせて読む

私たちの手法に足りないところがありますか。

ぜひお知らせください。御社の市場をどう測るかを問い直すのに最適なのは、デザインパートナーとの対話です。

購入検討者について相談する