「AI回答モニタリングツールは月数十ドルから。まずは自分たちで作れないか」
ChatGPTなどのAIの回答に自社名が出ているかを測るAI回答モニタリングは、市販のツールを使わなくても、APIを使った小さなスクリプトで始められます。
この記事では、OpenAI APIのWeb検索ツールを使って質問を定期的に投げ、回答と出典を記録する方法を、公式ドキュメントで確かめた内容をもとに解説します。内製と市販ツールのどちらを選ぶかの目安も整理します。料金と仕様は2026年11月12日に確認しました。
内製と市販ツールの比較
まず、自作するか市販ツールを使うかの判断材料を整理します。市販ツールの対応AIと料金はAI回答モニタリングツール比較で詳しく比べています。
自作(内製)
- 費用はAPIの利用料だけ
- 質問・記録の形式を自由に決められる
- 対応するAIを増やすたびに実装が要る
- 集計の画面は自分で作る
市販ツール
- 月額費用がかかる
- 複数のAIにまとめて対応している
- 競合比較・評価(好意的か否か)の分析が揃っている
- 作り込みや保守が要らない
OpenAI APIのWeb検索ツールでできること
OpenAIのResponses APIでは、tools に { "type": "web_search" } を指定すると、モデルがWebを検索してから回答します(OpenAIのWeb検索ガイド)。
Web検索ツールの主な仕様
| 項目 | 内容 |
|---|---|
| 指定方法 | Responses APIの tools に {"type": "web_search"} |
| 出典の返り方 | 回答の annotations に url_citation として、URL・タイトル・本文中の位置が入る |
| 地域の指定 | 国(2文字のISOコード)・都市・地域・タイムゾーンでおおよその場所を指定できる |
| ドメインの絞り込み | allowed_domains か blocked_domains を最大100件まで |
| 検索の強制 | tool_choice が auto だと検索しないことがあり、required で必ず検索させられる |
モニタリングで大事なのは、回答の本文と、url_citation に入る出典のURLです。本文に自社名が出たか(言及)、出典に自社のドメインが入ったか(引用)を、この2つから判定できます。日本の利用者向けの回答を見たいときは、地域に日本(JP)を指定します。
自作の手順
追跡する質問を決める
「〇〇(業種) おすすめ」「〇〇と△△の違い」など、顧客がAIに聞きそうな質問を10〜20個書き出し、ファイルにまとめます。
APIに質問して回答と出典を受け取る
Web検索ツールを有効にして質問を投げ、回答の本文と出典のURLを取り出します。
言及と引用を判定して記録する
本文に自社名・競合名が出たか、出典に自社のドメインがあるかを判定し、日付と一緒にCSVやスプレッドシートに追記します。
定期実行して推移を見る
週1回や毎日など決まった頻度で実行し、前回との差を見ます。
サンプルコード(Python)
公式ドキュメントの例をもとに、質問ごとに言及と引用を判定してCSVに追記する最小の例です。モデル名は公式ドキュメントの例に合わせています。BRAND と DOMAIN は自社のものに置き換えてください。
import csv
import datetime
from openai import OpenAI
client = OpenAI()
BRAND = "自社名"
DOMAIN = "example.com"
QUESTIONS = [
"中小企業向けのおすすめの〇〇ツールは?",
"〇〇と△△の違いは?",
]
with open("monitoring.csv", "a", newline="") as f:
writer = csv.writer(f)
for question in QUESTIONS:
response = client.responses.create(
model="gpt-6-astra",
tools=[{
"type": "web_search",
"user_location": {"type": "approximate", "country": "JP"},
}],
tool_choice="required",
input=question,
)
urls = []
for item in response.output:
if item.type != "message":
continue
for content in item.content:
for annotation in content.annotations or []:
if annotation.type == "url_citation":
urls.append(annotation.url)
writer.writerow([
datetime.date.today().isoformat(),
question,
BRAND in response.output_text,
any(DOMAIN in url for url in urls),
" ".join(urls),
])
スクリプトの処理の流れ
- 人質問リストを読む10〜20個
- AIWebを検索して回答web_search ツール
- AI言及・引用を判定自社名とドメイン
- 人CSVで推移を確認前回との差を見る
費用の目安
Web検索ツールの料金は、1,000回の呼び出しあたり10ドルです。これに加えて、検索で読み込んだ内容がモデルの料金でトークンとして課金されます(OpenAIの料金ページ)。
検索の呼び出し料金だけを、質問数と頻度で計算すると次のとおりです(1か月を30日として計算)。
月あたりのWeb検索の呼び出し料金
1回の回答で検索が複数回行われることもあるため、実際の呼び出し回数は質問の数より多くなる場合があります。最初は少ない質問で数日動かし、OpenAIの管理画面で実際の利用料を確かめてから規模を広げると安心です。
自作するときの注意点
運用で気をつけたいこと
| 注意点 | 対応 |
|---|---|
| 回答が毎回変わる | 同じ条件で続けて記録し、1回の結果で判断しない |
| 自社名の表記ゆれ | 英語表記・略称など、判定に使う名前を複数用意する |
| 対象がOpenAIのモデルだけ | Geminiなど他のAIも見たいなら、それぞれのAPIで同じ仕組みを作るか市販ツールを検討する |
| APIキーの管理 | キーをコードに直接書かず、環境変数などで管理する |
AIの回答に自社サイトが引用されるようにするための対策は、LLMO対策とはで解説しています。
よくある質問
ChatGPTのアプリで手作業で聞くのと何が違いますか?
自動で同じ条件のまま繰り返し記録でき、出典のURLを機械的に取り出せるのが違いです。一方で、APIの回答はアプリで人が聞いたときの回答と同じとは限らないため、時々アプリでも確かめると安心です。
プログラミングができなくても作れますか?
サンプル程度のスクリプトなら、AIのコーディング支援を使えば作れます。ただし定期実行や結果の集計まで整えるには手間がかかるため、手間をかけたくなければ市販ツールのほうが向いています。
費用はどれくらいかかりますか?
Web検索ツールは1,000回あたり10ドルで、20問を毎日聞くと呼び出し料金は月6ドルほどです。これに検索内容を読み込んだ分のトークン料金が加わります。
まとめ
- AI回答モニタリングは、OpenAI APIのWeb検索ツールを使えば小さなスクリプトで始められます。
- 回答の本文で言及を、
url_citationの出典URLで引用を判定して記録します。 - Web検索の呼び出しは1,000回あたり10ドルで、少ない質問から始めれば費用は小さく抑えられます。
- 対応するAIを増やしたい、分析画面がほしいなら市販ツールを検討しましょう。