新闻联播，各类新闻财经网站以及发改委网站爬虫

[hailong0707]

开发环境

• Python 2.7
• Mysql
• Scrapy 0.24 (当前 Scrapy 已经有官方 1.0 版本，可以正常运行，会有 warning )
• BeautifulSoup 4.x

爬虫

• spider_news_cctv
  2002 年至今的所有新闻联播内容，总计 4W 多
  https://github.com/hailong0707/spider_news_cctv

• spider_news_all
  证券日报，证券时报，证券日报网，南华早报，中国经营网，经济观察报，财经网，证券时报网，中证网，华尔街见闻 相关模块的整站爬取。证券日报，证券时报数据量可观，近 70W.
  https://github.com/hailong0707/spider_news_all

• spider_news_gov
  中国发展改革委员会 内容爬取已经文档下载，包含对 Word 文档的内容解析。
  https://github.com/hailong0707/spider_news_gov

• spider_news_finance
  SinaFinance, FTChinese, CFI 三个财经类网站的数据爬取
  https://github.com/hailong0707/spider_news_finance

免责

提供工具的参考学习，数据的用途等其他相关风险，自负。

[yuprince]

这工具写的挺好玩。

[Moker]

最近在爬微信。。。

[greatdk]

@Moker 微信怎么爬？

[pangtianyu]

好多人都是爬妹子 终于有个不一样的

[ljbha007]

做数据分析？ 机器学习 然后炒股？

[regent]

做新闻研究的可以用哦

[Moker]

@greatdk 不是微信，是微信公众号。。通过搜狗来爬

[hailong0707]

@pangtianyu 我也想爬妹子，做成 RESTful API ，写 Android 客户端 :)

[hailong0707]

@ljbha007 确实是数据分析，通过历年的新闻数据，结合实际，总结相关新闻预测的准确性

[ariestiger]

有点意思， 最近也在抓上市公司的专利数据和司法裁判数据。

[JQ]

.pyc 文件就不要上传了吧

[lj2546855]

还得加点东西，比如说全球股市,PMI,CPI,公司财务报表，纳斯达克，证监会公告，隔夜拆借利率，汇率，克强指数，日经，恒生，黄金期货价格，成交量，算上天气、节日等影响因素，可以做出一个股票预测软件 o