V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
sr0miao
V2EX  ›  Python

对于 Python 爬虫遇到一个问题,对于这样一个网站: www.icgoo.net,它好像是异步加载的,需要的型号数据在 XHR 里的 html 语句里,设置了 csrftoken。请问要什么方案爬取比较好呢?先谢谢打大家了

  •  
  •   sr0miao · 2018-03-13 17:14:24 +08:00 · 3345 次点击
    这是一个创建于 2207 天前的主题,其中的信息可能已经有所发展或是发生改变。
    11 条回复    2019-03-15 09:51:26 +08:00
    cdwyd
        1
    cdwyd  
       2018-03-13 17:23:24 +08:00 via Android
    获取 csrftoken 然后抓就是了
    sr0miao
        2
    sr0miao  
    OP
       2018-03-13 17:29:39 +08:00
    @cdwyd 请问如何获取呢
    Mojy
        3
    Mojy  
       2018-03-13 17:48:19 +08:00   ❤️ 1
    最简单的方式是通过模拟浏览器的方式进行爬虫,缺点就是稍微有点慢,需要等到页面加载完成才好
    cokky
        4
    cokky  
       2018-03-13 18:07:07 +08:00   ❤️ 1
    用 phantomjs 模拟浏览器方式来试试
    Nick2VIPUser
        5
    Nick2VIPUser  
       2018-03-13 18:11:25 +08:00   ❤️ 3
    点进 chrome 里面的 Source,到?partno=ADIS16251ACCZ&qty=1 这个 page 里面搜索 token 字段,把 token 出现的地方打断点调试,边调试边读 js 代码的实现,token 初始值多少经过什么代码变成了什么样子,最后算出来是多少。然后使用 python 代码实现~
    welkinzh
        6
    welkinzh  
       2018-03-13 18:14:23 +08:00   ❤️ 1
    五楼的方法是对的,不过如果处理 token 的 js 比较恶心的话就很麻烦,想简单就用 PhantomJS
    locoz
        7
    locoz  
       2018-03-13 21:36:56 +08:00 via Android
    逆向自己实现加密 /抠 js 加密部分出来运行 /模拟浏览器
    fsdman1216
        8
    fsdman1216  
       2018-03-14 10:18:56 +08:00
    selenium + webdriver
    noqwerty
        9
    noqwerty  
       2018-03-15 03:11:42 +08:00 via iPhone
    requests-html 了解一下
    wc110302
        10
    wc110302  
       2019-03-14 18:12:21 +08:00   ❤️ 1
    https://blog.csdn.net/qq_39802740/article/details/88557981 我最近写了个爬虫~ 好像就是这个 icgoo 的 哈哈 不过是 366 天前的了
    sr0miao
        11
    sr0miao  
    OP
       2019-03-15 09:51:26 +08:00
    @wc110302 哈哈,366 天前我还在实习呢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5870 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 02:17 · PVG 10:17 · LAX 19:17 · JFK 22:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.