V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ty4z2008
V2EX  ›  前端开发

前后端分离的项目做 SEO

  •  
  •   ty4z2008 ·
    ty4z2008 · 2019-04-15 21:00:48 +08:00 · 4797 次点击
    这是一个创建于 2050 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 1.通过 User-agent 判断是否为爬虫访问。如果是则通过反向代理或者其他程序代理到一个专门为爬虫准备的服务
    • 2.自己通过 nodeJs+puppeteer 或则模拟浏览器访问我们的项目然后返回渲染完成好的 HTML。

    下面列出了一些常见的爬虫 agent

    User-agent: Googlebot
    User-agent: Googlebot-Image
    User-agent: Baiduspider-news
    User-agent: Baiduspider
    User-agent: Baiduspider-image
    User-agent: Sosospider
    User-agent: bingbot
    User-agent: 360Spider
    User-agent: HaosouSpider 
    User-agent: yisouspider
    User-agent: YoudaoBot
    User-agent: Sogou Orion spider
    User-agent: Sogou News Spider
    User-agent: Sogou blog
    User-agent: Sogou spider2
    User-agent: Sogou inst spider
    User-agent: Sogou web spider
    User-agent: EasouSpider
    User-agent: MSNBot
    

    User-agent: ChinasoSpider

    7 条回复    2019-04-19 23:50:18 +08:00
    creedowl
        1
    creedowl  
       2019-04-15 21:20:45 +08:00 via Android
    很多爬虫都会伪装成搜索引擎吧,而且像 vue 这些前端框架都有 ssr 组件
    fuxinya
        2
    fuxinya  
       2019-04-15 23:13:04 +08:00 via Android
    像是谷歌搜索,会不定时伪装成正常的访问,如果爬取二者页面相差很大,会认定你作弊
    whypool
        3
    whypool  
       2019-04-15 23:35:04 +08:00
    目前打算上 ssr 了
    nobb519
        4
    nobb519  
       2019-04-16 00:23:46 +08:00
    现在已经不存在 SEO 了。外语站就有,但需要 PWA,百度的话,散了吧
    alexmy
        5
    alexmy  
       2019-04-16 12:37:00 +08:00
    如果是 react, vue,ssr 的解决方案也挺多的了。
    LongLights
        6
    LongLights  
       2019-04-16 15:46:35 +08:00 via Android
    4 楼说的对 中文网站已经没有 SEO 了
    abcbuzhiming
        7
    abcbuzhiming  
       2019-04-19 23:50:18 +08:00
    目前前后端分离项目如果一定要做 SEO,最理想的方案就是退回到后端渲染,针对爬虫返回不同内容很容易被判作弊的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3268 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 12:53 · PVG 20:53 · LAX 04:53 · JFK 07:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.