Facebookクローラー

Facebookクローラーは、リンクをコピーして貼り付けるか、Facebookソーシャルプラグインを使用することにより、Facebook上でシェアされたアプリまたはウェブサイトのHTMLをクロールします。クローラーは、アプリまたはウェブサイトに関する情報(タイトル、説明、サムネイル画像など)を収集し、キャッシュに保存し、表示します。

クローラーの要件

サーバーは、gzipおよびdeflateエンコーディングを使用する必要があります。
Open Graphプロパティは、ウェブサイトまたはアプリの最初の1MBより前に記載されている必要があります。そうでない場合、そのプロパティは切り捨てられます。
クローラーが数秒以内にコンテンツをクロールできることを確認してください。そうでない場合、Facebookはコンテンツを表示できません。
アプリまたはウェブサイトは、クローラーリクエストのRangeヘッダーで指定されたバイトに従ってすべての必要なプロパティを含む応答を生成して返すか、Rangeヘッダーを完全に無視する必要があります。
クローラーが使用するユーザーエージェント文字列またはIPアドレス(IPアドレスのほうが安全です)のいずれかを許可リストに追加してください。
アプリまたはウェブサイトで、該当するアプリまたはウェブサイトに関連するプライバシーポリシーのFacebookクローラーによるクロールが許可されていることを確認してください。

クローラーのIPおよびユーザーエージェント

Facebookクローラーユーザーエージェント文字列:

facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
facebookexternalhit/1.1
facebookcatalog/1.0

クローラーが使用するIPアドレスの最新リストを取得するには、次のコマンドを実行します。

whois -h whois.radb.net -- '-i origin AS32934' | grep ^route

IPアドレスは頻繁に変化します。

応答の例

...
route:      69.63.176.0/21
route:      69.63.184.0/21
route:      66.220.144.0/20
route:      69.63.176.0/20
route6:     2620:0:1c00::/40
route6:     2a03:2880::/32
route6:     2a03:2880:fffe::/48
route6:     2a03:2880:ffff::/48
route6:     2620:0:1cff::/48
...

トラブルシューティング

クロール時にアプリまたはウェブサイトのコンテンツがアクセス可能でなかった場合は、アクセス可能になってからシェアデバッガーツールを通じてURLを渡すか、シェアAPIを使用することにより、クロールを強制的に実行させることができます。

次のコードを使用して、クローラーリクエストをシミュレートできます:

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "$URL"