自2023年9月3日起整站屏蔽字节Bytespider搜索引擎蜘蛛

拦截通知：

自2023年9月3日起整站屏蔽字节Bytespider搜索引擎蜘蛛，所有蜘蛛全部跳转403。

拦截原因：

自2019年以来，大量蜘蛛爬取网站占用带宽资源，资源占用过高，没有收录，故永久禁止字节蜘蛛爬取网站，头条站长网站已注销。江湖有缘再见。文章源自玩技e族-https://www.playezu.com/bulletin/by/

拦截详情：

#IP屏蔽
头条搜索的ip字段总共涉及10个ip，具体字段如下：
110.249.201.0/24
110.249.202.0/24
111.225.148.0/24
111.225.149.0/24
220.243.135.0/24
220.243.136.0/24
220.243.188.0/24
220.243.189.0/24
60.8.123.0/24
60.8.151.0/24
 
# robots.txt 屏蔽
 
Bytespider 遵守robots规则，可采用以下方法屏蔽：
User-agent: Bytespider
Disallow: /

#PC端
Mozilla/5.0 (compatible; Bytespider; https://zhanzhang toutiao com/)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36
 
#Android端
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko)
Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang toutiao com/)
#
iOS端
Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko)
Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang toutiao com/)