推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3025 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近在试着爬银行帐单的网页，需要 Login
Login 是一个 AJAX 的 POST ，在用 Chrome 抓包分析了 Header 跟 Payload 之后，用 POSTMAN 验证了
header 需要
X-Requested-With
User-Agent
Content-Type
Payload 需要
requestTimestamp
user
password
用 POSTMAN 加上以上字段进行试验，可以得到 200 的返回，一切正常
后用 Python 的 Requests 库写了一个爬虫 用了 Session
s = requests.Session()
r = session.post(login_url, params=login_payload, headers=login_header, allow_redirects=True)
login_payload 和 login_header 里的数据与 POSTMAN 里用的一样，但是却是 500 的返回
想请教一下排查思路，如果做法有误也请不吝指出
Login 是一个 AJAX 的 POST ，在用 Chrome 抓包分析了 Header 跟 Payload 之后，用 POSTMAN 验证了
header 需要
X-Requested-With
User-Agent
Content-Type
Payload 需要
requestTimestamp
user
password
用 POSTMAN 加上以上字段进行试验，可以得到 200 的返回，一切正常
后用 Python 的 Requests 库写了一个爬虫 用了 Session
s = requests.Session()
r = session.post(login_url, params=login_payload, headers=login_header, allow_redirects=True)
login_payload 和 login_header 里的数据与 POSTMAN 里用的一样，但是却是 500 的返回
想请教一下排查思路，如果做法有误也请不吝指出
 |
1
Strikeactor 2016-01-04 13:47:51 +08:00  1
|
 |
2
shidenggui 2016-01-04 13:54:29 +08:00 1
用 OrderedDict 指定下参数顺序看下，有些网站会检查这个，不过概率很低。
最好你打下 requests 的 log 跟你发送的对比下看看 |
 |
3
Caratpine 2016-01-04 14:02:20 +08:00 1
有可能是 login 这个请求之前，网站加载了另外一些请求，这些请求当中有可能 set 了一些必要的 cookie
|
 |
4
braineo OP @Strikeactor 好工具
|
|
5
braineo OP @shidenggui 下班回去试试
|
|
7
Caratpine 2016-01-04 14:40:39 +08:00
@braineo 我觉得算是一种吧，我之前也抓过一个网站，在加载一个 js 文件的时候 set 了一个必要的 cookie ，我之前用的验证工具如果不清理本地 cookie 的话，即使你模拟的 header 里面没有加 cookie ，这个工具也会在模拟的时候读取你的本地 cookie ，比较坑爹，所以我觉得你这种情况和我之前遇到的问题很类似。
|
 |
8
dapang1221 2016-01-04 14:59:20 +08:00 via Android 1
直接抓爬虫的流量，和正常访问比较一下
|
Select Language