首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
V2EX  ›  Python

小白写了个壁纸的爬虫,能跑起来,但是感觉很慢,不知道怎么回事,请大佬指点

  •  
  •   snake8090 · 64 天前 · 2457 次点击
    这是一个创建于 64 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我知道命名很烂,轻喷,全靠字典直译的! 弄了两个小时才弄出来个 gist 链接,第一次用,凑合看吧

    https://gist.github.com/snake1080/817242ef0c0828d7eb3c20692ec2b2c1

    17 回复  |  直到 2019-07-15 19:00:41 +08:00
        1
    Buges   64 天前 via Android
    多线程并发
        2
    arrow8899   64 天前
    感觉慢?? debug 下不就知道哪慢了吗
        3
    locoz   64 天前 via Android
    因为发请求的时候没有并发,每一个图片在下载的时候必须要等待上一个图片的下载流程结束
        4
    Raisu   64 天前
    楼主代码太乱了
        5
    Hopetree   64 天前 via iPhone
    IO 密集型用多线程
        6
    snake8090   64 天前
    @Buges
    @locoz
    @Hopetree
    刚接触 python 两三个月,什么是多线程并发?
        7
    cherbim   64 天前 via iPhone
    @snake8090 哈哈哈哈哈,简单看了一下,你的脚本是下完一张图片后才开始下第二张,能不慢么,去看看多线程吧,让他同时多个照片下载
        8
    snake8090   64 天前
    @cherbim 正在搜索什么是 多线程 哈哈
        9
    whoami9894   64 天前 via Android
    有什么好问的,去补基础
        10
    Dart   64 天前 via Android
    小白多进城 即可
        11
    cwjokaka   64 天前
    用多线程,顺便再安利一波我的 https://github.com/cwjokaka/bilibili_member_crawler 里面也用了多线程
        12
    cwjokaka   64 天前
    https://github.com/piglei/one-python-craftsman 再介绍一个别人(大佬)的项目,是关于编码习惯和 python 技巧的。内容很少但很精炼,我也是看完才动手写项目的
        13
    Perterually   64 天前
    2333....一路循环...我看到了我第一次写爬虫时候的风格
        14
    Atukey   64 天前
    只要不怕 IP 被拉黑
    多线程 多进程 并发
        15
    snake8090   64 天前
    @cwjokaka 多谢 正在找多进程的基础教程看
        16
    txy3000   63 天前
    去看看 asyncio 和 asynchttp
        17
    locoz   63 天前
    @snake8090 刚在我公众号上推了篇文章,讲怎么改你这个代码的,可以看看: https://mp.weixin.qq.com/s/ZDsoEVY0T2GI9E34dkfUZw
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4112 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 02:44 · PVG 10:44 · LAX 19:44 · JFK 22:44
    ♥ Do have faith in what you're doing.