请问有没有什么规范的中小型 Python 爬虫项目可供参考？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1340 天前的主题，其中的信息可能已经有所发展或是发生改变。

之前一个爬虫 1000 多行全写在一个文件里，这个东西已经毫无维护性了，所以，我想重构一下

爬的是 API，但是有蛮多定制功能的

重构的话，我想这个项目应该包含单元测试，有完整的日志记录，解析模块，下载模块，调度器什么的都分开

我看了几个例子，有面向对象做的，也有全部都是函数的，我问问大伙儿有没有比较规范的样本，但是也不要是什么庞然大物，毕竟本身也不是什么大的项目，我也学习学习，谢谢大家了！

爬虫

重构

模块

Python

11 条回复 • 2021-04-05 19:30:41 +08:00

b29107b

2021-03-30 13:55:00 +08:00 via Android

github

learningman

2021-03-30 14:11:16 +08:00 via Android

scrpy 的文档

learningman

2021-03-30 14:12:00 +08:00 via Android

调 API 不叫爬虫吧，你可以用 metaclass 弄个 wrapper 出来

triangle111

2021-03-30 14:18:31 +08:00

mark，做完后看看有没有得白嫖的

CoCoMcRee

2021-03-30 14:24:10 +08:00

找个 scrpy 教程看下, 基本就是当下主流爬虫的做法了.

hunk

2021-03-30 14:47:36 +08:00

还是自己写吧，现成的框架或多或少都有限制，走了一圈发现，还是自己写。
另外，前一段，单独把抓取这块改成 go 了，用协程爽歪歪。

ClericPy

2021-03-30 20:47:35 +08:00

这么多人说 scrpy, 看来真不是 scrcpy 和 Scrapy...

hanssx

2021-03-31 10:03:33 +08:00

@ClericPy 整得我以为真有 scrpy，还去搜了下。。

ClericPy

2021-03-31 20:56:12 +08:00

@hanssx a ... 我当时搜 Github scrpy 还真搜到个以为就是它, 好吧我错了. 这单词用拼音打出来正好是四川人朋友...

HankLu

2021-04-01 21:25:22 +08:00

爬虫写得好，牢饭吃到饱

ErwinCheung

2021-04-05 19:30:41 +08:00

爬虫写得好，牢饭吃到饱