V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
tanteng
V2EX  ›  奇思妙想

用 python 模拟登陆 QQ 空间抓取数据实现班级网站自动更新

  •  
  •   tanteng · 2015-04-28 00:53:59 +08:00 · 5070 次点击
    这是一个创建于 3506 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我用wordpress搭建了一个班级网站,http://101ban.sinaapp.com,但是文章都需要我自己不定期手动发布,能不能用python实现自动模拟登陆QQ空间抓取指定好友的数据,并自动更新网站数据库?
    12 条回复    2015-05-01 04:47:47 +08:00
    Comdex
        1
    Comdex  
       2015-04-28 12:51:01 +08:00 via Android
    模拟登录qq空间怎么做我也想知道
    manoon
        2
    manoon  
       2015-04-29 09:59:15 +08:00 via Android
    @Comdex
    没设密码的不需要登录,直接有feed。
    Comdex
        3
    Comdex  
       2015-04-29 11:53:40 +08:00
    @manoon 能分享一下feed地址么?有设密码的要搞模拟登录吧?
    tanteng
        4
    tanteng  
    OP
       2015-04-29 13:15:27 +08:00
    我是登陆我自己的QQ空间抓取上面的内容,密码什么直接有
    zrc
        5
    zrc  
       2015-04-29 17:53:20 +08:00
    我用win32com 操作IE浏览器来实现登录。但是我的是用来打卡的。。。
    VaneHay
        6
    VaneHay  
       2015-04-30 11:22:15 +08:00
    这创意牛B
    RangerWolf
        7
    RangerWolf  
       2015-04-30 20:34:23 +08:00
    感觉不错啊。你现在不会是手动的一篇一篇的转载过来吧?
    w88975
        8
    w88975  
       2015-05-01 03:42:10 +08:00
    QQ的web登录,网上找一下就知道了,我以前研究过,主要是几个难点。
    首先是登录密码加密,这个可以在QQ的登录页面找到js加密的算法。
    第二个是通过cookie里的几个参数来计算好像叫做skey的值,这个也有算法。
    一般登录后,拿到cookie了,就可以用该cookie来获取QQ空间的数据,获取指定好友的,也简单,因为一般QQ好友的状态,都是用json来传输的,再不济就自己正则取html,如果PC版QQ空间内容太多,可以尝试用手机版的QQ空间,改下user-agent就行了。

    年代久远,记得不是很清楚了,但思路百度一下有很多,主要是在登录上。
    w88975
        9
    w88975  
       2015-05-01 03:44:38 +08:00
    对了 还有验证码 验证码比较复杂,不过手动登录一次后的cookie 好像能用几天,以前为了某个投票,淘宝买了几千个QQ,写了个刷票器放在服务器上,每分钟自动刷新一次来保持cookie更新,大概维持一个星期左右不用重新登录,现在不知道了。
    w88975
        10
    w88975  
       2015-05-01 03:48:32 +08:00
    楼主这个网站思路很不错,班级的私人社区一样的,挺喜欢
    manoon
        11
    manoon  
       2015-05-01 04:46:00 +08:00 via Android
    manoon
        12
    manoon  
       2015-05-01 04:47:47 +08:00 via Android
    @w88975
    我好多年前写那个的上上折是为了在本地数据库备份自己和朋友的空间日志。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   6132 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 02:47 · PVG 10:47 · LAX 18:47 · JFK 21:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.