拦截通知:
自2023年9月3日起整站屏蔽字节Bytespider搜索引擎蜘蛛,所有蜘蛛全部跳转403。
拦截原因:
自2019年以来,大量蜘蛛爬取网站占用带宽资源,资源占用过高,没有收录,故永久禁止字节蜘蛛爬取网站,头条站长网站已注销。江湖有缘再见。
拦截详情:
#IP屏蔽
头条搜索的ip字段总共涉及10个ip,具体字段如下:
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
220.243.188.0/24
220.243.189.0/24
60.8.123.0/24
60.8.151.0/24
# robots.txt 屏蔽
Bytespider 遵守robots规则,可采用以下方法屏蔽:
User-agent: Bytespider
Disallow: /
#PC端
Mozilla/5.0 (compatible; Bytespider; https://zhanzhang toutiao com/)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
#Android端
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko)
Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang toutiao com/)
#
iOS端
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko)
Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang toutiao com/)