V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
pkookp8
V2EX  ›  Python

想用 Python 去爬一个漫画网站的漫画,但遇到了一点问题

  •  
  •   pkookp8 · 2018-02-23 13:09:33 +08:00 · 3924 次点击
    这是一个创建于 2225 天前的主题,其中的信息可能已经有所发展或是发生改变。

    刚自学 python 没多久,语法倒是学了个大概,苦于没有练手的机会,突然想到可以试着爬一些图片过来
    试了下 bing 的首页图片,urllib 就可以很简单就下载到本地
    然后想试一下漫画网站,试试能不能把整部漫画都下载到本地,现在遇到了几个问题,求前辈们帮忙解答一下
    1.我爬的网站是 iimanhua ,想用 urllib 的方式获取,但发现页面的源码不含漫画图片的链接。搜索之后说是有些网站会通过异步 ajax 加载(以前没搞过前端,这块不是很懂)。网上说是可以用 selenium 库,调用 PhantomJS 命令行浏览器。browser=webdriver.PhantomJS()的方法去请求一个页面,现在倒是能把 browser.page_source 整个获取出来。想获取页数、图片地址,但不知道怎么获取特定的某个元素。如果用正则倒是也行,就是有点麻烦,因为看到有类似 browser.find_element_by_xxx 的方法,一些博客上的介绍不是很看得懂,不知道有没有简单的方法获取
    Alt text 2.browser.get(url)返回的特别慢。我用火狐去访问的时候发现其他所有东西都在几秒钟之内加载完成了,但唯独有一个 gif 图片是 0x0 大小的,需要加载 1 分多钟,域名还是 baidu 的。怀疑是这个网站针对爬虫有特定保护(?),有没有办法把这个跳过
    Alt text


    第 1 点的话大不了就用正则去处理整个 page_source ,写得复杂一点总是能获取到图片和总页数的,但第 2 点如果无法解决整个计划就失败了。。。
    13 条回复    2018-02-26 15:36:37 +08:00
    kslr
        1
    kslr  
       2018-02-23 13:40:47 +08:00
    Headless Chrome
    0x0 是百度统计吧
    pkookp8
        2
    pkookp8  
    OP
       2018-02-23 13:46:48 +08:00
    @kslr 问题不在于 PhantomJS 还是 Chrome,而是加载页面慢。不管是 python 版的 PhantomJS 还是界面版本的 firefox 都很慢,估计是慢在一个地方
    kslr
        3
    kslr  
       2018-02-23 13:51:33 +08:00
    @pkookp8 #2 链接发来看一下
    pkookp8
        4
    pkookp8  
    OP
       2018-02-23 14:00:49 +08:00
    jackyzy823
        5
    jackyzy823  
       2018-02-23 14:08:38 +08:00   ❤️ 2
    页面里 var qTcms_S_m_murl_e= 的值用 base64 解一下你就能看见你想要的东西了。
    pkookp8
        6
    pkookp8  
    OP
       2018-02-23 14:15:34 +08:00
    @jackyzy823 厉害呀,我一开始看到这串就直接忽略了。。。。。这样连总页数什么的解析操作都不需要了
    kslr
        7
    kslr  
       2018-02-23 14:18:27 +08:00   ❤️ 1
    @pkookp8 #4 你把 qTcms_S_m_murl_e 用 base64 解码就是图片地址,页码可以用$qingtiandy$切割
    Ginson
        8
    Ginson  
       2018-02-23 14:51:24 +08:00
    第二个问题也许能通过配置 chrome_option 解决,设置 block 掉百度那个域名。
    可参考: http://blog.csdn.net/zwq912318834/article/details/78933910
    https://sites.google.com/a/chromium.org/chromedriver/capabilities

    但是我找了很久没找到 block domain 要怎么配置 ×D
    pkookp8
        9
    pkookp8  
    OP
       2018-02-23 14:55:26 +08:00 via Android
    @kslr 看到了,谢啦,第二个问题不知道有没有解法
    kslr
        10
    kslr  
       2018-02-23 15:00:25 +08:00
    @pkookp8 #9
    @Ginson #8 域名直接指向到 localhost
    pkookp8
        11
    pkookp8  
    OP
       2018-02-23 15:01:37 +08:00 via Android   ❤️ 1
    @kslr 用 hosts 吗
    Hzzone
        12
    Hzzone  
       2018-02-23 23:29:44 +08:00
    获得页面之后用 beautifulsoup、lxml 之类的来解析,不一定要正则
    先禁止加载图片,获得 URL 之后把你要的图片下载下来
    其实最好的办法是执行 js(pyexecjs)要快得多
    liyanbo
        13
    liyanbo  
       2018-02-26 15:36:37 +08:00
    selenium 会很慢很慢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3229 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 11:42 · PVG 19:42 · LAX 04:42 · JFK 07:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.