V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐关注
Meteor
JSLint - a JavaScript code quality tool
jsFiddle
D3.js
WebStorm
推荐书目
JavaScript 权威指南第 5 版
Closure: The Definitive Guide
huyia
V2EX  ›  JavaScript

facebook 爬虫

  •  
  •   huyia · 2019-08-02 22:39:32 +08:00 · 4934 次点击
    这是一个创建于 1721 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在研究 facebook,推特爬虫,发现网站加载了一大堆的 js 代码,网上查询了一下,这是使用了 chunk 技术,由服务器一段一段的分发加密数据给客户端,然后由 js 解密。我想实现只用 python 请求库来完成这个爬虫,不用 splash 等自动化插件,但是发现很难下手,哪位兄弟能指点一下我该怎么继续下去,求指教

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1358 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 23:44 · PVG 07:44 · LAX 16:44 · JFK 19:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.