如何模拟各大网站的蜘蛛请求来测试网站是否可以被蜘蛛正常抓取原创教程

使用场景

网站人员经常需要做SEO分析，在分析多个电商网站的过程中，有时需要测试对方友情链接，是否屏蔽搜索引擎蜘蛛访问？我们可以通过软件工具，模拟搜索引擎蜘蛛的浏览。建议使用谷歌浏览器模拟百度、谷歌等搜索引擎蜘蛛的访问。

本文使用Google Chrome浏览器做为请求模拟教程。（User-Agent Switcher for Chrome）

第1步：下载Chrome扩展文章源自玩技e族-https://www.playezu.com/180301.html

扩展程序 → 获取更多扩展程序 → 搜索“User-Agent Switcher for Chrome” →  点击“+ 添加到 CHROME”▼文章源自玩技e族-https://www.playezu.com/180301.html

第2步：刷新谷歌浏览器，你会注意到该插件已加载 ▼文章源自玩技e族-https://www.playezu.com/180301.html

第3步：进入 User-Agent Switcher for Chrome“选项”文章源自玩技e族-https://www.playezu.com/180301.html

在User-Agent Switcher for Chrome扩展图标右键， 选择“选项”后，会自动进入以下选项设置页 ▼文章源自玩技e族-https://www.playezu.com/180301.html

文章源自玩技e族-https://www.playezu.com/180301.html

第4步：添加搜索引擎蜘蛛访问识别码文章源自玩技e族-https://www.playezu.com/180301.html

添加Chrome模拟搜索引擎蜘蛛访问识别，例如百度、谷歌 ▼文章源自玩技e族-https://www.playezu.com/180301.html

百度 ▼

Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
谷歌 ▼

Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
搜狗 ▼

Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Bing ▼

Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)

第5步：选择搜索引擎蜘蛛访问该网站 ▼文章源自玩技e族-https://www.playezu.com/180301.html

文章源自玩技e族-https://www.playezu.com/180301.html

• 测试访问后，若如常显示，说明百度搜索引擎蜘蛛，能如常抓取网页。

总结：下方给大家准备了插件的下载地址，使用教程给顺带给放在里面了。

注意事项：使用和测试后请将配置还原，否则可能会出现其他网站无法打开或者异常，关闭插件就可以了

使用说明：本教程仅限测试交流切勿非法使用，使用过后请在24小时内删除。

SEO搜索引擎优化 基础+案例+实战 (慕课版)

书分9章，第1章SEO基础入门、第2章关键词制定、第3章网站SEO技术研究、第4章竞争对手研究分析、第5章网站内*布局及*化、第6章企业站SEO实战、第7章移动端SEO实战、第8章资讯类网站SEO实战、第9章SEO常见问题和解决方法。

￥29.63

京东购买