V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
polandeme
V2EX  ›  程序员

请教一个关于淘宝商品详情实时获取问题?

  •  
  •   polandeme ·
    polandeme · 2017-03-23 20:43:16 +08:00 · 1881 次点击
    这是一个创建于 2562 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,类似于什么值得买,豆瓣东西等商品聚合类网站,提交一个商品 url 就可以拿到商品详情信息。

    想问一下他们是爬虫还是内部公司之间的合作?

    如果是爬虫,必须渲染 js 才可以拿到部分数据,但是我用 phantomjs 去做渲染,可以拿到数据,但是至少 10s,是不是有更好的解决方案?

    PS: 淘宝原先的 API 已经关闭了

    5 条回复    2017-03-24 14:26:51 +08:00
    knightdf
        1
    knightdf  
       2017-03-23 21:13:34 +08:00
    想要快只能去 hack 接口了把
    waczx
        2
    waczx  
       2017-03-24 11:54:32 +08:00
    淘宝和京东可以在 jsonp 里面取一些商品信息。
    cncqw
        3
    cncqw  
       2017-03-24 13:33:31 +08:00
    目测用的是爬虫,定时抓取,然后提交 URL 后从自己数据库查,不然不可能那么快。
    polandeme
        4
    polandeme  
    OP
       2017-03-24 13:42:42 +08:00
    @waczx jsonp 应该做了一些反爬虫,发现模拟请求也老是得不到,请指教一二,谢谢
    polandeme
        5
    polandeme  
    OP
       2017-03-24 14:26:51 +08:00
    @cncqw 这么多商品信息,这也太大了吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3569 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 04:57 · PVG 12:57 · LAX 21:57 · JFK 00:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.