AI導入の相談

エンジニアリング · 2026年11月12日

AI回答モニタリングを自作する方法|内製とツールの比較

AIの回答に自社名が出るかを、OpenAI APIのWeb検索ツールで自動記録する方法を解説。公式ドキュメントで確かめた使い方と出典の取り出し方、1回10ドル/1,000回の検索料金での費用の目安、市販ツールとの使い分けをまとめました。

「AI回答モニタリングツールは月数十ドルから。まずは自分たちで作れないか」

ChatGPTなどのAIの回答に自社名が出ているかを測るAI回答モニタリングは、市販のツールを使わなくても、APIを使った小さなスクリプトで始められます。

この記事では、OpenAI APIのWeb検索ツールを使って質問を定期的に投げ、回答と出典を記録する方法を、公式ドキュメントで確かめた内容をもとに解説します。内製と市販ツールのどちらを選ぶかの目安も整理します。料金と仕様は2026年11月12日に確認しました。

内製と市販ツールの比較

まず、自作するか市販ツールを使うかの判断材料を整理します。市販ツールの対応AIと料金はAI回答モニタリングツール比較で詳しく比べています。

自作(内製)

  • 費用はAPIの利用料だけ
  • 質問・記録の形式を自由に決められる
  • 対応するAIを増やすたびに実装が要る
  • 集計の画面は自分で作る

市販ツール

  • 月額費用がかかる
  • 複数のAIにまとめて対応している
  • 競合比較・評価(好意的か否か)の分析が揃っている
  • 作り込みや保守が要らない

OpenAI APIのWeb検索ツールでできること

OpenAIのResponses APIでは、tools に { "type": "web_search" } を指定すると、モデルがWebを検索してから回答します(OpenAIのWeb検索ガイド)。

Web検索ツールの主な仕様

項目内容
指定方法Responses APIの tools に {"type": "web_search"}
出典の返り方回答の annotations に url_citation として、URL・タイトル・本文中の位置が入る
地域の指定国(2文字のISOコード)・都市・地域・タイムゾーンでおおよその場所を指定できる
ドメインの絞り込みallowed_domains か blocked_domains を最大100件まで
検索の強制tool_choice が auto だと検索しないことがあり、required で必ず検索させられる
2026年11月12日にOpenAIの公式ドキュメントで確認しました。出典:OpenAI「Web search」ガイド

モニタリングで大事なのは、回答の本文と、url_citation に入る出典のURLです。本文に自社名が出たか(言及)、出典に自社のドメインが入ったか(引用)を、この2つから判定できます。日本の利用者向けの回答を見たいときは、地域に日本(JP)を指定します。

自作の手順

  1. 追跡する質問を決める

    「〇〇(業種) おすすめ」「〇〇と△△の違い」など、顧客がAIに聞きそうな質問を10〜20個書き出し、ファイルにまとめます。

  2. APIに質問して回答と出典を受け取る

    Web検索ツールを有効にして質問を投げ、回答の本文と出典のURLを取り出します。

  3. 言及と引用を判定して記録する

    本文に自社名・競合名が出たか、出典に自社のドメインがあるかを判定し、日付と一緒にCSVやスプレッドシートに追記します。

  4. 定期実行して推移を見る

    週1回や毎日など決まった頻度で実行し、前回との差を見ます。

サンプルコード(Python)

公式ドキュメントの例をもとに、質問ごとに言及と引用を判定してCSVに追記する最小の例です。モデル名は公式ドキュメントの例に合わせています。BRAND と DOMAIN は自社のものに置き換えてください。

import csv
import datetime

from openai import OpenAI

client = OpenAI()

BRAND = "自社名"
DOMAIN = "example.com"
QUESTIONS = [
    "中小企業向けのおすすめの〇〇ツールは?",
    "〇〇と△△の違いは?",
]

with open("monitoring.csv", "a", newline="") as f:
    writer = csv.writer(f)
    for question in QUESTIONS:
        response = client.responses.create(
            model="gpt-6-astra",
            tools=[{
                "type": "web_search",
                "user_location": {"type": "approximate", "country": "JP"},
            }],
            tool_choice="required",
            input=question,
        )
        urls = []
        for item in response.output:
            if item.type != "message":
                continue
            for content in item.content:
                for annotation in content.annotations or []:
                    if annotation.type == "url_citation":
                        urls.append(annotation.url)
        writer.writerow([
            datetime.date.today().isoformat(),
            question,
            BRAND in response.output_text,
            any(DOMAIN in url for url in urls),
            " ".join(urls),
        ])

スクリプトの処理の流れ

  1. 人質問リストを読む10〜20個
  2. AIWebを検索して回答web_search ツール
  3. AI言及・引用を判定自社名とドメイン
  4. 人CSVで推移を確認前回との差を見る
質問ごとに1回APIを呼び、結果を1行ずつ追記します。

費用の目安

Web検索ツールの料金は、1,000回の呼び出しあたり10ドルです。これに加えて、検索で読み込んだ内容がモデルの料金でトークンとして課金されます(OpenAIの料金ページ)。

検索の呼び出し料金だけを、質問数と頻度で計算すると次のとおりです(1か月を30日として計算)。

月あたりのWeb検索の呼び出し料金

  • 20問 × 週1回(月80回)約0.8ドル
  • 20問 × 毎日(月600回)6ドル
  • 100問 × 毎日(月3,000回)30ドル
出典:OpenAIの料金(1,000回あたり10ドル)から計算。トークン料金は含みません

1回の回答で検索が複数回行われることもあるため、実際の呼び出し回数は質問の数より多くなる場合があります。最初は少ない質問で数日動かし、OpenAIの管理画面で実際の利用料を確かめてから規模を広げると安心です。

自作するときの注意点

運用で気をつけたいこと

注意点対応
回答が毎回変わる同じ条件で続けて記録し、1回の結果で判断しない
自社名の表記ゆれ英語表記・略称など、判定に使う名前を複数用意する
対象がOpenAIのモデルだけGeminiなど他のAIも見たいなら、それぞれのAPIで同じ仕組みを作るか市販ツールを検討する
APIキーの管理キーをコードに直接書かず、環境変数などで管理する

AIの回答に自社サイトが引用されるようにするための対策は、LLMO対策とはで解説しています。

よくある質問

ChatGPTのアプリで手作業で聞くのと何が違いますか?

自動で同じ条件のまま繰り返し記録でき、出典のURLを機械的に取り出せるのが違いです。一方で、APIの回答はアプリで人が聞いたときの回答と同じとは限らないため、時々アプリでも確かめると安心です。

プログラミングができなくても作れますか?

サンプル程度のスクリプトなら、AIのコーディング支援を使えば作れます。ただし定期実行や結果の集計まで整えるには手間がかかるため、手間をかけたくなければ市販ツールのほうが向いています。

費用はどれくらいかかりますか?

Web検索ツールは1,000回あたり10ドルで、20問を毎日聞くと呼び出し料金は月6ドルほどです。これに検索内容を読み込んだ分のトークン料金が加わります。

まとめ

  1. AI回答モニタリングは、OpenAI APIのWeb検索ツールを使えば小さなスクリプトで始められます。
  2. 回答の本文で言及を、url_citation の出典URLで引用を判定して記録します。
  3. Web検索の呼び出しは1,000回あたり10ドルで、少ない質問から始めれば費用は小さく抑えられます。
  4. 対応するAIを増やしたい、分析画面がほしいなら市販ツールを検討しましょう。
aitip 編集部AIで業務を効率化し、生産性を最大化する施策を紹介する実践型メディア

次に読む

運営者が提供するサービス xzap

AI を、いつもの業務に組み込む。

チャットやメールに届いた情報を AI が読み取り、帳票と会計へ自動で書き込む。組み込みはこちらで行います。

無料で相談する