拦截通知:
自2023年9月3日起整站屏蔽字节Bytespider搜索引擎蜘蛛,所有蜘蛛全部跳转403。
拦截原因:
自2019年以来,大量蜘蛛爬取网站占用带宽资源,资源占用过高,没有收录,故永久禁止字节蜘蛛爬取网站,头条站长网站已注销。江湖有缘再见。
拦截详情:
#IP屏蔽 头条搜索的ip字段总共涉及10个ip,具体字段如下: 110.249.201.0/24 110.249.202.0/24 111.225.148.0/24 111.225.149.0/24 220.243.135.0/24 220.243.136.0/24 220.243.188.0/24 220.243.189.0/24 60.8.123.0/24 60.8.151.0/24 # robots.txt 屏蔽 Bytespider 遵守robots规则,可采用以下方法屏蔽: User-agent: Bytespider Disallow: /
#PC端 Mozilla/5.0 (compatible; Bytespider; https://zhanzhang toutiao com/) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.0.0 Safari/537.36 #Android端 Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang toutiao com/) # iOS端 Mozilla/5.0 (iPhone; CPU iPhone OS 7_1_2 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko) Version/7.0 Mobile Safari/537.36 (compatible; Bytespider; https://zhanzhang toutiao com/)