V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
ppboyhai
V2EX  ›  问与答

关于批量稳定采集拼多多商品和商铺数据的技术实现途径方案请教!

  •  
  •   ppboyhai · 102 天前 · 918 次点击
    这是一个创建于 102 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各位 V 友好,午饭点跟朋友聊天聊到了批量采集拼多多商品和商铺数据,然后沉淀下数据资料到自己的数据库中,可分享给第三方需要的商家使用。并且给到了这个别人开发的软件的截图。

    想请教一下这种具体的实现方式是什么样的?

    怎么绕过拼多多的风控验证。

    挂 APP 模拟人工点击抓包采集的还是怎么。

    没具体搞过爬虫这种,特意向各位 V 友请教一下

    https://i.imgur.com/3PMs41y.png

    9 条回复    2024-09-12 13:02:12 +08:00
    ppboyhai
        1
    ppboyhai  
    OP
       102 天前
    sagaxu
        2
    sagaxu  
       102 天前
    PDD 网页版
    https://mobile.pinduoduo.com/
    https://mobile.yangkeduo.com/

    APP 采集可能需要逆向分析接口,有人做这个生意,API 可包月用。

    拼多多有个多多客,官方 API 也能拉取一些商品,但不全。
    ppboyhai
        3
    ppboyhai  
    OP
       102 天前
    @sagaxu 我尝试登录了这个两个网址,用的真实的账号和密码,点击每一个商品都显示“商品告罄”。 这是被拼多多屏蔽了么。 老兄能推荐下购买 API 的获取渠道么
    sagaxu
        4
    sagaxu  
       102 天前
    @ppboyhai 你这可能账号有问题,我是正常的。采集服务提供商很多啊,google 都搜得到,可以找几个试用对比下。
    yrj
        5
    yrj  
       102 天前
    无论是 app 还是网页,无非就是逆向加过风控,如果模拟点击,可能就不用逆向了,但效率会低。

    整这玩意有法律风险吧?
    happyxhw101
        6
    happyxhw101  
       102 天前
    爬虫违法,谨慎
    feiniu
        7
    feiniu  
       102 天前
    买现成的 API 接口吧,这个 PDD 的采集,一般的搞不定的,特别是数据量大了,更难

    专业的事情交给专业的做
    JamesMackerel
        8
    JamesMackerel  
       101 天前
    pdd 风控老哥估计已经盯上这个帖子了😄️
    tianzi123
        9
    tianzi123  
       101 天前
    怂什么,采集的时候记得多挂两层代理
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2712 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 11:25 · PVG 19:25 · LAX 03:25 · JFK 06:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.