目次
- まず「Web検索」と「そのURLを直接読む」は違う
- URLを渡したのに、ページを見ていないように感じる理由
- 理由1|robots.txtでクローラーを制限している
- robots.txtで拒否すれば完全に非公開になる?
- 理由2|ログインしないと見られない
- 理由3|JavaScriptで本文を表示している
- 理由4|CloudflareなどのBot対策に止められる
- 理由5|更新したばかりで検索側に反映されていない
- 理由6|ページ本文が画像になっている
- 理由7|PDFや埋め込みファイルの中身までは読んでいない
- 「このURLを見て」と言ったのにAIが推測することもある?
- 本当にそのページを読めたか確認する方法
- 確実に読ませたいなら本文を直接渡す
- 長いページならPDFやファイルで渡す
- 大量のWebページを読ませるならクローラーを使う
- 社内サイトならRAGやコネクタを使う
- AIに読みやすいWebサイトにするには?
- 「AI検索に出る」と「URLを読める」も別
- URLをAIへ渡すときの簡単チェック
- まとめ——URLは「情報そのもの」ではない
「このURLを見て内容をまとめて」と生成AIへお願いしたのに、ページに書いてある内容と違う回答が返ってきた。「更新したばかりのページなのに、古い情報を答えている」「ログイン後のページを見てほしいのに読めない」——生成AIを使っていると、こうしたことがあります。
ChatGPT、Claude、GeminiなどはWeb情報を扱えるようになっていますが、URLを渡しただけで、そのURLの最新ページを必ず直接読み込んでいるとは限りません。
AI側のWeb機能、サイト側のアクセス制限、robots.txt、ログイン、JavaScript、Bot対策などによって、読めるページ・読めないページがあります。この記事では、なぜURLを渡してもWebサイトを読めないことがあるのか、そして確実に内容を確認してもらうにはどうすればいいのかを整理します。
まず「Web検索」と「そのURLを直接読む」は違う
ここが最初に知っておきたいポイントです。
生成AIがWebにアクセスできる場合でも、大きく分けると複数の情報取得方法があります。
サービスや利用モードによって、使える方法は異なります。
そのため、URLを貼っただけでは、AIが検索結果を参考にしたのか、そのページを直接取得したのか、ブラウザで開いたのかは同じではありません。
URLを渡したのに、ページを見ていないように感じる理由
よくあるのが、AIへURLを貼って質問したものの、回答内容がページと少し違うケースです。
原因はいくつか考えられます。
つまり、AIの知能の問題ではなく、ページ本文を取得する前段階で止まっていることがあります。
理由1|robots.txtでクローラーを制限している
Webサイトには、robots.txtというファイルを置くことがあります。
これは、クローラーに対して、
と伝えるための仕組みです。
AI関連の検索クローラーや一般的な検索エンジンのクローラーも、それぞれのルールに従って巡回します。
そのため、サイト側で対象クローラーを拒否していれば、AIが検索や取得に使える情報が限定される場合があります。
robots.txtで拒否すれば完全に非公開になる?
そうではありません。
robots.txtは主にクローラーの巡回を制御する仕組みで、秘密情報を守るためのアクセス制御ではありません。
非公開にしたいページなら、
といった仕組みが必要です。
理由2|ログインしないと見られない
当然ですが、ログイン後にしか表示されないページは、一般的なWeb検索クローラーからは読めません。
例えば、
などです。
最近はAIがブラウザを操作できる環境もありますが、その場合でもユーザーによるログインやアクセス許可が必要になる場合があります。
単にURLを貼るだけで、AIが自動的に認証を突破して中を見るわけではありません。
理由3|JavaScriptで本文を表示している
Webページには、HTMLへ最初から文章が書かれているページと、JavaScriptが動いた後に内容を表示するページがあります。
例えば、
というサイトです。
取得方法によっては、最初のHTMLだけを見て、後から表示される文章を取得できないことがあります。
これは検索エンジンでも長年扱われてきた問題で、クローラーによってJavaScriptのレンダリング能力は異なります。
理由4|CloudflareなどのBot対策に止められる
最近はBotアクセスを制限するWebサイトが増えています。
例えば、
などです。
人間が普通にChromeで見られるページでも、自動取得プログラムからアクセスすると403などで拒否されることがあります。
その場合、AI側から見ると「URLは存在するが本文を取得できない」という状態になります。
理由5|更新したばかりで検索側に反映されていない
ページを書き換えた直後にAIへ質問すると、古い内容が返ってくる場合があります。
これは、AIがその瞬間のページ本文を直接見ているのではなく、検索結果や以前取得された情報を利用している場合に起こりやすくなります。
という時間差です。
更新直後の内容を確認したいなら、「検索結果で探して」ではなく、現在のURLを直接取得できる環境で確認するか、本文そのものを渡す方が確実です。
理由6|ページ本文が画像になっている
Webページに文字が見えていても、それが実際には画像の場合があります。
例えば、
などです。
画像理解が可能なAIなら読める場合もありますが、Web取得側が画像まで取得してAIへ渡していなければ、見落とされる可能性があります。
重要な情報は画像だけにせず、HTMLテキストとしても掲載しておく方が、検索エンジンやAIなど機械から理解されやすくなります。
理由7|PDFや埋め込みファイルの中身までは読んでいない
Webページ本体にPDFへのリンクがあるだけの場合、そのPDFまで自動的に開いて読んでいるとは限りません。
例えば、会社概要ページに、
と書かれていても、AIが料金表PDFまで取得しなければ料金は分かりません。
重要なPDFの場合は、PDF自体をAIへ渡して確認する方が確実です。
「このURLを見て」と言ったのにAIが推測することもある?
あり得ます。
ページを取得できなかった場合でも、AIがURL、ドメイン名、既知の情報、検索結果などから回答を組み立てることがあります。
その結果、回答だけを見ると、まるでページを直接読んだように感じる場合があります。
そこで、重要な作業では、
のように確認します。
本当にそのページを読めたか確認する方法
簡単なのは、そのページでしか分からない情報を聞くことです。
例えば、
と聞きます。
回答がページと一致しなければ、現在のページ本文を直接取得できていない可能性があります。
確実に読ませたいなら本文を直接渡す
一番簡単で確実なのは、必要な文章そのものを渡すことです。
これなら、AIがWebページへアクセスできるかどうかに左右されません。
数ページ程度なら、この方法が最も簡単です。
長いページならPDFやファイルで渡す
長い記事や資料なら、本文を全部コピーするより、PDFやファイルとして渡した方が扱いやすい場合があります。
など、利用しているAIサービスが対応している形式を使います。
これなら「Webから取得できたか」ではなく、「渡したファイルの内容を読めたか」という問題に切り分けられます。
大量のWebページを読ませるならクローラーを使う
業務では、100ページ、1,000ページといった大量のWebページをAIへ読ませたい場合があります。
この場合、毎回URLをAIへ渡す方法は効率的ではありません。
一般的には、
↓
本文を抽出
↓
データとして保存
↓
必要な情報を検索
↓
AIへ渡す
という形にします。
つまり、Webサイトを読む処理と、AIが考える処理を分けます。
社内サイトならRAGやコネクタを使う
社内ポータルや社内Wikiなど、一般公開されていないWebページの場合は、通常のWeb検索へ載せることはできません。
その場合は、
といった方法を使います。
ログインページをAIに毎回ブラウザ操作させるより、情報そのものへ正規の方法で接続した方が安定する場合があります。
AIに読みやすいWebサイトにするには?
サイト運営者側から見ると、AIや検索エンジンへ情報を伝えやすくする方法があります。
これはAI専用の特殊対策というより、検索エンジンやアクセシビリティにも通じる基本的なWeb設計です。
「AI検索に出る」と「URLを読める」も別
もう一つ混同しやすいポイントです。
AI検索で自社サイトが引用されることと、誰かがそのURLをAIへ貼ったときに直接読めることは同じではありません。
AI検索では、検索用クローラーや検索インデックスへの収録が関係します。
一方、URL直接取得では、その時点でサイトへアクセスできるかどうかが関係します。
この2つは分けて考えます。
URLをAIへ渡すときの簡単チェック
まとめ——URLは「情報そのもの」ではない
生成AIがWebを使えるようになったことで、URLを送るだけで情報を調べてもらえる場面は増えました。
ただしURLは、あくまで情報の場所を示すものです。
その場所へAIが実際にアクセスできたか、そしてページ本文を正しく取得できたかは別問題です。
重要な内容を確認するときは、AIが本当にそのページを読めたのかを確認し、必要に応じて本文・ファイル・APIなど別の方法で情報を渡すようにしましょう。
AIから正しく使える形へ。
Eatransformでは、Webサイトの情報取得、クローラー、API連携、RAG、社内データ検索など、Webと生成AIをつなぐ仕組みをご相談いただけます。「URLを渡してもAIが正しく読めない」といった段階から、現在のサイト構成に合わせて整理します。