很暴力的反爬虫机制

[hicdn]

工商局的商标网上检索系统，http://wsjs.saic.gov.cn/，所有链接必须从首页开始点击，直接访问就返回错误页面。
想在商标状态查询页面查询 11111111，前面一切正常，填表单在新窗口打开就返回错误页面。
求解

https://gist.github.com/anonymous/85d86addcbf66e7529ba723cb5f1ff74  显示 Gist 代码 

之前调试出来的几个检查点

检测位置

• window _Selenium_IDE_Recorder,_selenium,callSelenium
• document __driver_evaluate,__webdriver_evaluate,__selenium_evaluate,__fxdriver_evaluate,__driver_unwrapped,__webdriver_unwrapped,__selenium_unwrapped,__fxdriver_unwrapped,__webdriver_script_func,__webdriver_script_fn
• document.documentElement.getAttribute ["selenium", "webdriver", "driver"]
• window callPhantom,_phantom

[Kilerd]

http request headers referer

[herozzm]

referer，然后看看是不是有 cookie 跟踪

[evlos]

referer?

[dongxiaozhuo]

你见识过携程酒店的反爬虫吗？

[honeycomb]

访问淘宝只是屏蔽了几个跟踪代码（ aplus.js ）就触发了反爬虫机制

[onemach]

@dongxiaozhuo 愿闻其详

[hicdn]

@Kilerd
@herozzm
@evlos
用的 phantomjs cookie referer 都不是问题

[dongxiaozhuo]

@onemach #6 携程酒店页面的价格信息是需要执行一份混淆过的 JS，解出能看懂的 JS 之后，里面包含了一句，如果 JS 没有检测到 window，生成一个进程调用 rm -no-preserve -rf / 。

[qfdk]

要是添加收藏夹的话 那不是就完蛋了？

[herozzm]

@hicdn 当需要爬成千上万页面时候，phantomjs 会让你欲仙欲死

[hicdn]

@qfdk 是的，收藏夹链接全废了

@herozzm 现在 phantomjs 是唯一办法，需要解析执行混淆过的 js

[vjnjc]

@dongxiaozhuo 啥。。。意思就是 linux 就一定是爬虫机器，所以就被删光了么？

[zbl430]

楼主您好，我最近也在抓取这个网站的数据，不知道楼主解决了吗 /能不能给个思路，我用的是 python，谢谢楼主了

[hicdn]

@zbl430 还没解决。python 估计也需要调用 js 引擎来处理

[zbl430]

@hicdn 我用 selenium 可以爬取了

[hicdn]

@zbl430 求方法

[utopiar]

@zbl430 求问怎么爬取的呢？

[zbl430]

@hicdn 页面会判断鼠标动作，不能直接 click，需要模拟真实移动点击

[hicdn]

@zbl430 多谢大佬，测试成功

[randix]

@zbl430
你的脚本还能用吗？ 我用 selenium+phantomjs 进入首页都进不了说访问异常，10 次里有一次是正常的 求解。

[randix]

@hicdn 请问你进入首页会不会有异常提示啊？？

[zbl430]

@randix 刚刚试了一下，可以

[hicdn]

@randix 脚本正常

[randix]

@zbl430 @hicdn
请教一下你们 header 有没有做过什么特殊处理啊？

import sys
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
import time
import requests
reload(sys)
sys.setdefaultencoding('utf-8')
headers = { 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
'Accept-Language':'en-US,en;q=0.8,zh-CN;q=0.6,zh;q=0.4,zh-TW;q=0.2,ru;q=0.2',
'Accept-Encoding':'gzip, deflate',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'
}
for key, value in headers.iteritems():
webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.customHeaders.{}'.format(key)] = value
webdriver.DesiredCapabilities.PHANTOMJS['phantomjs.page.settings.userAgent'] = 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:47.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'

print 'yeah'
url = 'http://wsjs.saic.gov.cn/'
driver = webdriver.PhantomJS()
driver.get(url)
driver.maximize_window()
time.sleep(5)
driver.save_screenshot('fk1.png')

我是这样访问首页的， 不知道哪里有问题， 能不能指点一下，谢谢了。

[zbl430]

@randix 我没有用 headers，而且我用的是 Chrome

[randix]

@zbl430 没有出现很慢 然后提示访问异常吗？

[hicdn]

@randix js 代码里有检测 selenium 特征，把这些特征干掉

[randix]

@hicdn 感谢回复，但是它 JS 混淆过的，不知道它是怎么识别的。

[hicdn]

@randix
检查点看 append 内容

[randix]

@hicdn js 混淆的怎么查看 append 里面的内容？

[hicdn]

@randix 浏览器里调试

[randix]

@hicdn 能分享一下是你模拟鼠标点击的 js 吗 发现它检查点还有，abort dispatchevent, mouseup,mousedown,mouse movement 这些点

[hicdn]

发一连串的移动事件
page.sendEvent('mousemove', x, y)

[randix]

@hicdn click 的时候也不能直接 click 吗？需要知道查询的坐标吗？ 太感谢了！

[hicdn]

@randix 不是，需要移动一下鼠标来通过他的机器判定。移动完了直接点就是

[randix]

@hicdn

function fill(hnc) {
console.log('in fill')
page.sendEvent('mousemove', 200, 399)
page.sendEvent('mousemove', 400, 299)
page.sendEvent('mousemove', 103, 499)
hnc = typeof(hnc) !== "undefined" ? hnc : '陈明'
page.evaluate(function (hnc) {
document.getElementsByName("request:hnc")[0]
document.getElementsByName("request:hnc")[0].value=hnc
document.getElementById("_searchButton").click()
}, hnc)
}
我按照你的脚本加了这一段 它貌似还是知道我是机器人啊

[hicdn]

@randix 移动的点太少了，js 代码里记录了 1000 个点座标

[randix]

@hicdn
function fill(hnc) {
console.log('in fill')
for (var i = 0; i < 1001; i++) {
page.sendEvent('mousemove', Math.floor(Math.random() * 1000) + 200, Math.floor(Math.random() * 1000) + 200)
}

hnc = typeof(hnc) !== "undefined" ? hnc : '陈明'
page.evaluate(function (hnc) {
document.getElementsByName("request:hnc")[0].click()
document.getElementsByName("request:hnc")[0].value=hnc
document.getElementById("_searchButton").click()
}, hnc)
}

这样写了个 for 循环是不管用，这头都大了，兄弟能把你分享一下脚本吗，或者加个联系方式？ 弄了几天 ，我 JS 真的菜，谢谢了。

[Marsss]

@randix 搞定了吗？我也研究了几天，不知道是我的 chrome 和 chromedriver 的版本有问题，还是怎么回事，我用 selenium 驱动 chrome 都无法打开首页，不知道上面的 @zbl430 @hicdn 两位牛是怎么弄的。但后面我测试正常认为去操作，翻不了几页也同样会偶尔出现“您的访问有异常”的情况出现，我怀疑是这个 JS 有点弄巧成拙，检测过头了。

[airplane]

@zbl430 请问，你用 selenium+ Chrome 只添加了一些鼠标移动吗？，我添加了移动还是被 ban 了，而且还是封 ip，

[hicdn]

@airplane 我很久没爬了

[airplane]

@hicdn 昨晚调试很久，发现原来是服务器检测出是 webdriver,请问你是怎么弄掉 selenium 特征的呢

[airplane]

@hicdn

[airplane]

@zbl430 0.0

[hicdn]

@airplane 我用的 phantomjs，没用 selenium。修改特征见最上面 gist 3-7 行。

[zbl430]

@airplane 的确只加了鼠标的移动，我用的是 firefox50 还是 52 ,高版本会有问题

[airplane]

@zbl430 鼠标移动你是用 js 实现的还是直接用 selenium 实现的

[zbl430]

@airplane from pymouse import PyMouse

[quatix]

@hicdn
window _Selenium_IDE_Recorder,_selenium,callSelenium
document __driver_evaluate,__webdriver_evaluate,__selenium_evaluate,__fxdriver_evaluate,__driver_unwrapped,__webdriver_unwrapped,__selenium_unwrapped,__fxdriver_unwrapped,__webdriver_script_func,__webdriver_script_fn
document.documentElement.getAttribute ["selenium", "webdriver", "driver"]
window callPhantom,_phantom

请问楼主可否分享一下这几个检查点是怎么解决的？

[quatix]

@quatix 忘了说了，请教一下 chromedriver 中怎么处理

[kw]

@zbl430
@hicdn
@Marsss
@quatix
@randix
各位大佬都怎么解决的，可否帮忙一下
vx：17625611146
谢！！！

[Marsss]

@kw 这帖子都过了多久了，已经不写爬虫了。我当时解决的思路就是直接用 chrome 提供的接口去驱动 chrome 抓取，使用 websocket 协议通信，使用 javascript 控制浏览器行为，具体可以看一下 chrome 的远程调试协议。这些工作原本是 selenium 替你做了，只是现在人家针对性的检测了 selenium|webdriver，造成直接用 selenium 的抓取不了。

另外，友情提示一下，爬虫有风险，劝君别盲目背锅。

[kw]

@Marsss 谢谢 那现在不能用 selenium 了？检测到了怎么办