首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python 学习手册
Python Cookbook
Python 基础教程
Python Sites
PyPI - Python Package Index
http://www.simple-is-better.com/
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
宝塔
V2EX  ›  Python

Python +selenium 爬虫遇到诡异反扒

  •  
  •   ITheihu · 41 天前 · 1647 次点击
    这是一个创建于 41 天前的主题,其中的信息可能已经有所发展或是发生改变。

    不同的账号登入同一个网址,登陆进去后标签的 id 属性值自动改变,怎么做到批量爬取。(不然一个程序只能爬一个账号,换个账号因为 id 属性值的改变就无法爬取) 头都大了......!

    15 回复  |  直到 2019-10-12 18:50:29 +08:00
        1
    kran   41 天前 via Android
    结构不变就用标签?
        2
    yidinghe   41 天前   ♥ 1
    可能前端纯粹是为了方便把用户 ID 拼到里面,没想到成了反扒手段
        3
    Hopetree   41 天前   ♥ 1
    重要的是结构,不是 ID,这种根本不能算反爬,你为啥非要用 ID 去定位?? xpath 选择器,selecter 选择器哪个限定了只能用 ID 吗
        4
    nullboy   41 天前
    楼上+1
        5
    linvaux   41 天前 via Android
    楼上已经给出答案了
        6
    ClericPy   41 天前
    这太难猜了, 给个 HTML 例子让人测测选择器也好啊
        7
    ITheihu   40 天前
    不知道怎么描述!全网站禁止右键功能,层层都有 iframe,头大啊
        8
    cwjokaka   40 天前
    不用 id 选择就行了啊
        9
    crab   40 天前
    正则,或者找出账号和 id 关系。
        10
    Rubbly   40 天前
    这根本不算反爬+1.
    禁止右键,但是查看源代码的方法有很多啊。F12 或者先开一个 DevTool window 再导航过去或者油猴弄个脚本都能解决的。
        11
    dji38838c   40 天前
    标题党呀,这算什么“诡异反扒”

    看标题,期待的是:网站把你本机给爬了,那才叫做真“诡异”
        12
    Juszoe   40 天前
    楼主技术不过关啊,禁止右键都绕不过
        13
    515576745   40 天前 via Android
    技术问题吧, 练多就好了
        14
    inoizyz   40 天前 via Android
    1.这网页不是我做的。
    2.我经常干这事,偷懒不用 cookie。
    3.我不是前端。
        15
    locoz   40 天前
    根本算不上问题的问题...结合早上那个贴子看效果更佳 水文太多了,小白连这么基础的东西都没搞清楚。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4146 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 08:53 · PVG 16:53 · LAX 00:53 · JFK 03:53
    ♥ Do have faith in what you're doing.