V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
hechaov
V2EX  ›  问与答

从 VPS 爬虫 抓取被 cloudflare access denied

  •  
  •   hechaov · 109 天前 · 638 次点击
    这是一个创建于 109 天前的主题,其中的信息可能已经有所发展或是发生改变。

    首先在自己本地电脑抓取没问题, 可以用的是 python3 cfscrape

    脚本 放到 VPS 主机上就不行了

    error code: 1020

    curl --request GET --url https://api.opensea.io/api/v1/asset_contract/0x06012c8cf97bead5deae237070f9587f8e7a266d

    返回的信息的 cloudflare access denined

    先谢谢大哥们

    4 条回复    2022-04-29 07:46:55 +08:00
    oh
        1
    oh  
       109 天前
    应该是 VPS 的 IP 地址被 Cloudflare 识别是机房网络了吧,加上频繁请求
    felixcode
        2
    felixcode  
       109 天前 via Android
    网站也可以主动提交爬虫 ip 给 cloudflare 防火墙名单的。
    hechaov
        3
    hechaov  
    OP
       109 天前
    请求不频繁 还是第一次尝试. 如果走代理能解决问题么
    flynaj
        4
    flynaj  
       108 天前 via Android   ❤️ 1
    cloudflare 对付爬虫可以一流的。
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1104 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 141ms · UTC 21:18 · PVG 05:18 · LAX 14:18 · JFK 17:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.