爬虫（ Python ）如何处理页面上的加载按钮？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 1853 天前的主题，其中的信息可能已经有所发展或是发生改变。

类似于这种网站，产品列表如何一次性显示全部？访问的时候需要点击 Load More 才加载，但是用 python 之类的爬虫如何实现一次性加载全部呢？

第 1 条附言 · 2019-03-26 02:34:18 +08:00

已经搞定了，谢谢大家

10 条回复 • 2019-03-26 01:20:18 +08:00

lhx2008

2019-03-21 13:14:06 +08:00 via Android

抓包，和普通分页没有区别

niknik

2019-03-21 15:39:14 +08:00

error1009

Johnson66

2019-03-21 17:53:52 +08:00

The owner of this website (www.taappliance.com) has banned the country or region your IP address is in (CN) from accessing this website.

holajamc

2019-03-21 18:08:52 +08:00

wuyifar

2019-03-21 18:20:13 +08:00

做不到一次性的，解析他的接口参数，直接自己去访问

SleipniR

2019-03-21 19:09:15 +08:00

一般是触发 ajax 请求并返回 json，F12 看一下请求的链接手动触发一下。

showHand043

2019-03-22 16:25:22 +08:00

ghost 或者 selenium+phantomJS

SharkIng

2019-03-23 00:25:54 +08:00

@holajamc #4
@wuyifar #5
@SleipniR #6 发现这个情况了，但是有点不知道具体他需要什么参数得到结果

holajamc

2019-03-23 11:44:20 +08:00

相关的 JS 在这里
/html/body/div[1]/script[35]/text()
可以看看~

SharkIng

2019-03-26 01:20:18 +08:00

@holajamc 好的谢谢

爬虫（ Python ）如何处理页面上的 加载 按钮？