pycurl 相比 requests 是不是效率要高一些？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3721 天前的主题，其中的信息可能已经有所发展或是发生改变。

Requests

PyCURL

效率

6 条回复 • 1970-01-01 08:00:00 +08:00

zhwei

2014-02-21 16:37:39 +08:00

pycurl是封装的curl, 效率要高点，但是requests更加人性化，更易用，如果用于爬虫的话推荐requests，毕竟效率可以通过多线程或者异步提高。

piglei

2014-02-21 17:14:54 +08:00

如楼上所说，“效率”这个东西到了网络库上来说，最大的问题是IO，所以库本身的执行效率来说并不是那么重要。和效率有关的指标还是IO相关的，比如这个库是不是支持keep-alive，是不是支持异步化等等等等。

cute

2014-02-21 17:16:57 +08:00

搜索human_curl

import human_curl
r = human_curl.get('http://v2ex.com')

requests不支持100 continue.

wangfengmadking

2014-02-21 17:37:10 +08:00

还有就是requests原生不支持socket5代理。。。

pubby

2014-02-21 18:20:26 +08:00

一直用gearman

再用node写一个worker,支持socks5代理

爬虫直接将抓取任务交给gearman,异步执行

zhwei

2014-02-21 19:26:18 +08:00

@cute api和requests一样啊，好东西！