V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
klxq15
V2EX  ›  问与答

在公网上部署分布式爬虫,安全方面要有哪些考量?

  •  
  •   klxq15 · 2017-06-17 07:52:59 +08:00 via Android · 1847 次点击
    这是一个创建于 2505 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如使用 json rpc 的话,远程连接的授权验证,防注入,放炸弹等等,要怎么搞
    4 条回复    2017-06-17 17:24:59 +08:00
    klxq15
        1
    klxq15  
    OP
       2017-06-17 07:53:27 +08:00 via Android
    防炸弹
    bazingaterry
        2
    bazingaterry  
       2017-06-17 08:55:54 +08:00 via iPhone
    iptables 限制一下 input 的 IP ?
    gouchaoer
        3
    gouchaoer  
       2017-06-17 12:02:57 +08:00 via Android
    爬虫不需要有公网 ip,所以安全上没啥需要注意的。。。。但是你调度系统不知道用的啥需要有公网 ip,但是爬虫分布式又需要爬虫验证,我的策略是用一个命令收到限制的 redis 代理
    vileer
        4
    vileer  
       2017-06-17 17:24:59 +08:00
    参考新网络安全法,如果是与用户隐私有关数据,单服务器不能超过判刑上限
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5607 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 03:10 · PVG 11:10 · LAX 20:10 · JFK 23:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.