大概从 22 年底起,我开始通过 RSS 订阅 B 站的视频投稿、知乎的回答文章以及各种网页博客。
B 站严格的反爬策略导致刷新频率一高就容易被限制,订阅的链接极其容易失效。只能通过曲线救国的方式,通过 vercel 自建订阅 UP 主的动态获取信息。
但最近因为在看蜗牛柯基 weibo 及其他 UP 主,但由于刷新频率较高,加上 B 站严格的反爬机制,现在订阅的 B 站链接几乎全部失效,除了一个“漏网之鱼”,其余全部失效(如下图右方所示)。
所以想问现在是否还有其它方法可以及时收到 up 主更新的消息,类似 RSS 将信息收纳其中,以便统一阅读。 个人也思考过是否能够通过电报 bot 统一订阅,但又感觉似乎不是很方便。 大家是怎么知道自己“特别关注”的 up 主更新的呢?
1
yadiman 247 天前 3
曲线救国,订阅 up 主的动态: https://xxx/bilibili/user/dynamic/xxxx
|
2
june4 247 天前 1
不能通过降低刷新频率解决吗
|
3
haonie 247 天前
抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。
|
4
haonie 247 天前
抓网页元素的 css 或者 js ,配合浏览器检测网页更新插件就行了。
这个就是主页的元素路径 div > div > div > div > div > div > div > div > a |
5
NotFoundEgg 247 天前
我是用定时轮询做的,有动态变化就推送 https://github.com/nfe-w/aio-dynamic-push
|
7
LaoDahVong 247 天前
这两天 github 上 trending 的项目不是有一个 MediaCrawler 么. 修改一下 b 站那块代码自己爬一下好了
|
8
baobao1270 247 天前
反爬无解。B 站的风控一塌糊涂,即使正常用户也会时常遇到验证码/429/结果为空(这个怀疑可能是 Load Balancer 的问题)的响应。只能降低频率。
|
9
Rnreck 247 天前
@LaoDahVong #7 删库跑路了
|
10
LaoDahVong 247 天前
@Rnreck 笑死了, 跑的好快. 不过很多 fork. 不过我看了下代码其实也没什么特殊的. 爬虫就是一个耗费精力的事情.
@baobao1270 我试了下似乎未登录用户也可以查看 up 主投稿, 大概需要关闭一个弹出的登陆窗口. 偶尔的失败对于 RSS 应该是能接受的. 间隙的话, 2 小时以上的间隙应该可以接受吧? 应该不至于频率过高. RSS 也就每天一看 |
11
v2yllhwa 247 天前 via Android 1
用客户端 grpc 接口爬。可以看看我写的 RssWorker 。
不过我写的这个为了在 cf 上跑是手搓的 grpc ,你可以照着自己写一个在本地跑。 |
12
laydown 247 天前
订阅自己的关注的就行了,不要每一个 up 主都用 rss 订阅,那哔哩哔哩肯定受不了。
|
13
baobao1270 247 天前
@LaoDahVong B 站有风控模型,你没遇上。前段时间有二级运营商用户因为 IP 是穿透的导致查看用户主页跳验证码
|