下面列出了一些常见的爬虫 agent
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Baiduspider-news
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Sosospider
User-agent: bingbot
User-agent: 360Spider
User-agent: HaosouSpider
User-agent: yisouspider
User-agent: YoudaoBot
User-agent: Sogou Orion spider
User-agent: Sogou News Spider
User-agent: Sogou blog
User-agent: Sogou spider2
User-agent: Sogou inst spider
User-agent: Sogou web spider
User-agent: EasouSpider
User-agent: MSNBot
User-agent: ChinasoSpider
1
creedowl 2019-04-15 21:20:45 +08:00 via Android
很多爬虫都会伪装成搜索引擎吧,而且像 vue 这些前端框架都有 ssr 组件
|
2
fuxinya 2019-04-15 23:13:04 +08:00 via Android
像是谷歌搜索,会不定时伪装成正常的访问,如果爬取二者页面相差很大,会认定你作弊
|
3
whypool 2019-04-15 23:35:04 +08:00
目前打算上 ssr 了
|
4
nobb519 2019-04-16 00:23:46 +08:00
现在已经不存在 SEO 了。外语站就有,但需要 PWA,百度的话,散了吧
|
5
alexmy 2019-04-16 12:37:00 +08:00
如果是 react, vue,ssr 的解决方案也挺多的了。
|
6
LongLights 2019-04-16 15:46:35 +08:00 via Android
4 楼说的对 中文网站已经没有 SEO 了
|
7
abcbuzhiming 2019-04-19 23:50:18 +08:00
目前前后端分离项目如果一定要做 SEO,最理想的方案就是退回到后端渲染,针对爬虫返回不同内容很容易被判作弊的
|