同时抓取 10 个网站的网页，是用 multithread 还是 multiprocess？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 4301 days ago, the information mentioned may be changed or developed.

循环10次太慢了，我想同时进行,我也知道multithread有GIL锁,所以multiprocess貌似是不错选择？
我还听说过一些其他高并发项目,如：gevent、stackless、pypy,这些和官方多进程有何区别？

stackless

gevent

抓取

11 replies • 2014-07-25 11:25:11 +08:00

wy315700

Jul 24, 2014

multiprocess + pool 比较好

multithread + gevent也可以

heiher

Jul 24, 2014 via iPhone

线程用来使用cpu资源的，像这种基本就是I/O为主，使用异步I/O不就好了。

binux

Jul 24, 2014

GIL锁是锁语句执行的，IO等待又不会被锁

bigdude

Jul 24, 2014

gevent

ffffwh

Jul 24, 2014

异步+1

C0VN

Jul 24, 2014

我之前测试的时候，threading比gevent快耶。

pandada8

Jul 24, 2014 via Android

处理速度永远大于你的抓取速度

withrock

Jul 25, 2014

我之前写过抓取糗事百科的虫，我的CPU有4个核，用threading的话，CPU的使用率不会超过25%。

Zuckonit

Jul 25, 2014

gevent吧

kingxsp

Jul 25, 2014

gevent 或者 asyncio

lianghui

Jul 25, 2014

prefork span with multithread