Berbagi

Crawler Facebook

Crawler Facebook merayapi HTML aplikasi atau situs web yang dibagikan di Facebook dengan menyalin dan menempelkan tautan atau menggunakan plugin sosial Facebook. Crawler mengumpulkan, menyimpan ke cache, dan menampilkan informasi tentang situs web atau aplikasi tersebut seperti judul, deskripsi, dan gambar mininya.

Persyaratan Crawler

  • Server Anda harus menggunakan sistem enkode gzip dan deflate.
  • Properti Graf Terbuka apa pun harus didaftar sebelum 1 MB pertama situs web atau aplikasi Anda, atau properti akan terpotong.
  • Pastikan bahwa konten dapat dirayapi oleh crawler dalam beberapa detik atau Facebook tidak akan dapat menampilkan konten itu.
  • Aplikasi atau situs web Anda harus menghasilkan dan mengembalikan tanggapan dengan semua properti yang diperlukan sesuai dengan bita yang ditetapkan dalam header Range dalam permintaan crawler atau harus sepenuhnya mengabaikan header Range.
  • Tambahkan string agen pengguna atau alamat IP (lebih aman) yang digunakan crawler ke daftar diizinkan.
  • Pastikan aplikasi atau situs Anda memungkinkan Crawler Facebook merayapi kebijakan privasi yang terkait dengan aplikasi atau situs Anda.

IP Crawler dan Agen Pengguna

String agen pengguna crawler Facebook:

  • facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
  • facebookexternalhit/1.1
  • facebookcatalog/1.0

Untuk mendapatkan daftar alamat IP yang digunakan crawler saat ini, jalankan perintah berikut.

whois -h whois.radb.net -- '-i origin AS32934' | grep ^route

Alamat IP ini sering berubah.

Contoh Tanggapan

...
route:      69.63.176.0/21
route:      69.63.184.0/21
route:      66.220.144.0/20
route:      69.63.176.0/20
route6:     2620:0:1c00::/40
route6:     2a03:2880::/32
route6:     2a03:2880:fffe::/48
route6:     2a03:2880:ffff::/48
route6:     2620:0:1cff::/48
...

Pemecahan Masalah

Jika aplikasi atau konten situs web tidak tersedia saat proses perayapan, Anda dapat memaksa perayapan setelah konten tersedia dengan melewati URL melalui fitur Sharing Debugger atau menggunakan API Berbagi.

Anda dapat menyimulasikan permintaan crawler dengan kode berikut:

curl -v --compressed -H "Range: bytes=0-524288" -H "Connection: close" -A "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "$URL"