推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3011 天前的主题，其中的信息可能已经有所发展或是发生改变。
前段时间一直也没什么事，所以做了这么一个小项目，爬取了拉勾网八万多的招聘信息(2016.8.16 号左右)，并将其按照城市、职业、薪资水平分类展示，并可以点击查看任意小分类下具体职位信息，网站还有很多东西需要完善，所以还请大家提点意见。在线 demo ： 互联网行业招聘需求分析，图表信息是可以点击的哦。
招聘信息来源
- 用 scrapy 爬取拉勾网的招聘信息，涉及 226 座城市、 152 种职业类型的共 87161 个招聘信息
- 数据存储在 mysql 数据库
- 项目地址：Lagou_spider
部署方式
网站搭建在小水管上，所以打开速度不是很快，见谅
- 采用 nginx + gunicorn + flask 的方式
前端展示
由于本人渣渣前端，所以展示效果已经尽力。点击具体图表可以进入具体模块的详细信息
- 前端采用 Boostrap 框架
- 图表生成用的 C3.js
- 项目地址：internet_job_analysis
TODO
- 专门针对 Python 做一份详细的分析图表
- About Me 页面
希望各路大神走过路过看一看，提点意见，谢谢
 |
1
CoSpLi 2016-08-31 20:28:48 +08:00
话说我之前也爬过。。然后因为某些原因项目搁置就 GG 了= =
|
 |
2
li24361 2016-08-31 21:57:39 +08:00
支持一个，拉钩有个接口直接返回 json ，很是良心，省去了解析 html 的工作，但是我还是忍不住说一点，拉钩的工资，太特么虚了，跟实际对不上
|
 |
3
wangtuyi 2016-08-31 22:11:48 +08:00
|
 |
4
sunyaxiongnn 2016-08-31 22:12:39 +08:00
正在学习爬虫，观摩下代码，更要学习楼主的动手精神
|
 |
6
ioiogoo OP @li24361 对的，我也是直接返回 json 的，具体可以看我的爬虫代码，但是基本上很快的时间就能封掉一个 ip ，所以我还写了一个免费代理的爬虫项目。另外拉勾上的工资一般都是取下限的，虚高很正常，互联网行业本身就有很多泡沫
|
 |
7
katos 2016-09-01 01:10:41 +08:00
赞一个
|
 |
8
Tom008 2016-09-01 10:25:49 +08:00
java 工作量是 c++的 5 倍左右 ！这尼玛
|
 |
10
luofei23 2016-09-01 11:53:28 +08:00
很厉害！因为最近我也想用拉勾网练习爬虫技术。没想到您已经做的这么完善了。请问一下如果做成这一个项目，爬虫，数据处理，前端页面，然后以这个项目去求职可行吗？？最近转行中，感觉没有能拿出手的项目。谢谢。
|
|
11
ioiogoo OP  1
@luofei23 应该是可以拿去求职的吧，我不太清楚，但是这个说实话也没太多的技术含量，自己玩玩还可以。如果你要做一个求职的项目的话，专注一个方向，前端就前端，后端就后端，一个方向深入下去可能好点
|
 |
13
gzxultra 2016-09-01 18:01:48 +08:00
看文件结构一点都没看出来是 flask...话说 pyc 不要加到版本控制里啊....
|
|
14
ioiogoo OP @gzxultra flask 用 blueprint ，结构不就是这样的吗？还有，额，版本控制里本来就没有 pyc 啊，看错了？
|
 |
16
tikazyq 2016-09-01 21:12:58 +08:00
|
Select Language