豆瓣的反爬虫这么严格了现在？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2455 天前的主题，其中的信息可能已经有所发展或是发生改变。

众所周知，豆瓣电影短评在未登录的情况下只能抓取到 200 条，我今天试了试登录，却也只能抓取到 500 条，然后我手动翻了下短评，发现真的只能查看 500 条，从根本上杜绝了爬虫，这也太狠了吧。这种杜绝大翻页的行为感觉「伤敌一千，自损八百」呢？！

12 条回复 • 2019-02-10 14:58:26 +08:00

leido

2019-02-09 19:58:39 +08:00 via Android

正常人能看 500 条？

tongyifan

2019-02-09 20:03:43 +08:00 via Android

楼上正解

murmur

2019-02-09 20:05:25 +08:00

一般人可能只看评分和首页评论

Biwood

2019-02-09 20:10:49 +08:00

豆瓣电影短评翻页不知道什么时候改成异步加载的，我记得以前都是同步的

Eiden

2019-02-09 20:11:47 +08:00 via Android

微博粉丝不也一样

panpanpan

2019-02-09 21:31:17 +08:00 via iPhone

大概一年多以前就是这样了吧。

crab

2019-02-09 21:44:12 +08:00

试下 app 端有没有限制

locoz

2019-02-09 21:45:29 +08:00 via Android

正常人也不会看那么多

MoHen9

2019-02-09 22:39:12 +08:00 via Android

豆瓣的 APP，每次在后台运行就跟重启一样，一点儿你之前浏览了什么的痕迹都不留，这点非常差劲。

x86

2019-02-09 23:13:58 +08:00

正常人翻了 10 页左右我都觉得他闲得慌

zwithz1998

2019-02-10 00:41:07 +08:00

去年课设要求做豆瓣爬虫，买了代理池才搞定

zhang2e

2019-02-10 14:58:26 +08:00 via iPhone

的确正常人是不会看 500 条🤦‍♂️