Facebook 網絡爬蟲爬取應用程式或網站的 HTML,該 HTML 透過複製和貼上連結或 Facebook 社交附加程式在 Facebook 上分享。網絡爬蟲收集、快取和顯示該應用程式或網站的資訊(例如其標題、說明和縮圖)。
Range
標題中指定的位元組,產生並傳回包含所有要求的屬性的回應,或應完全忽略 Range
標題。Facebook 網路爬蟲用戶代理字串:
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
facebookexternalhit/1.1
facebookcatalog/1.0
如要獲取網絡爬蟲目前使用的 IP 位址清單,請運行以下指令。
whois -h whois.radb.net -- '-i origin AS32934' | grep ^route
這些 IP 位址會經常更改。
... route: 69.63.176.0/21 route: 69.63.184.0/21 route: 66.220.144.0/20 route: 69.63.176.0/20 route6: 2620:0:1c00::/40 route6: 2a03:2880::/32 route6: 2a03:2880:fffe::/48 route6: 2a03:2880:ffff::/48 route6: 2620:0:1cff::/48 ...