求一个队友维护一个 Java 爬虫项目

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2935 天前的主题，其中的信息可能已经有所发展或是发生改变。

这是一个雪球网的股票爬虫项目，个人由于快找工作了，没时间管理，希望有朋友能够帮忙打理一下。主要是修复一些 bug ： https://github.com/decaywood/XueQiuSuperSpider

爬虫

雪球网

Java

打理

27 条回复 • 2016-04-14 19:45:19 +08:00

root787

2016-04-11 22:14:46 +08:00

看了一眼，看到 Java ，顿时没了兴趣。

cs4814751

2016-04-11 22:19:43 +08:00

Java 菜鸟可以吗？(⊙﹏⊙)

weizhixiang

2016-04-11 22:26:55 +08:00 via Android

看不懂，刚学会用 python 的 Yahoo 接口获取数据画 k 线图

2016-04-11 22:34:45 +08:00 via Android

都抓哪些东西，有空我看看。

decaywood

2016-04-11 22:52:29 +08:00

@ob 基本上都可以抓，架构为开放式设计的

decaywood

2016-04-11 22:52:53 +08:00

@cs4814751 可以，按照约定开发即可

zhtsuc

2016-04-11 23:04:27 +08:00

java 多年，不知道咋打理

Bryan0Z

2016-04-11 23:06:32 +08:00 via Android

菜鸟来凑个热闹

273579540

2016-04-11 23:10:54 +08:00

我有兴趣，不过技术还不到家，多谢提供这么好我项目学习。

reeco

2016-04-11 23:15:14 +08:00

已 star

gxz1989611

2016-04-12 08:48:36 +08:00

似乎是要升级到 java8 才能编译啊？我这 java7 编译失败了诶~

sunfanteng

2016-04-12 09:39:25 +08:00

我也是做 Java 的，一起学习吧。

zjxzhqq

2016-04-12 09:47:05 +08:00

没做过爬虫，想试试

decaywood

2016-04-12 10:26:32 +08:00

@gxz1989611 项目核心就是 Java8 的并行流，所以拓展性几乎没有限制

decaywood

2016-04-12 10:27:38 +08:00

@zhtsuc 如果炒股的话，可以根据自己需要提供一些模块，以及修复一些可能的 bug ，虽然运行这么久鲜有 bug

libiao5320

2016-04-12 11:47:34 +08:00

Mapper: Network busy Retrying -> 2 times
Mapper: Network busy Retrying -> 2 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 3 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 4 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times
Mapper: Network busy Retrying -> 5 times

楼主为什么会出现这种情况？

decaywood

2016-04-12 11:54:49 +08:00

@libiao5320 两种情况，一：你抓取太频繁，被限制了。二：雪球网 cookie 机制有变化，这个问题需要经常维护的，你看看是那个模块出的问题