多个数据采集组滥用Facebook链接预览功能,伪装成Facebook的内容爬虫,从互联网网站上获取数据。
这项技术包括使用Facebook开发人员帐户来调用Facebook或Facebook Messenger API服务器,请求一个组要抓取的页面的链接预览。
Facebook将获取数据,在链接预览中进行组装,并将其作为API响应返回给数据清理程序,随时可以被吸收到Scraper的数据库中。
这项技术是成功的,因为大多数网站运营商都允许Facebook服务器对其网站进行爬网,知道Facebook从他们的页面收集的数据通常用于合法目的,作为社交网络、Facebook Messenger、WhatsApp的链接预览的一部分,或Instagram。