开始学 vue，尝试着用 requests.get() 去爬自己写的网页，然后什么都爬不到

[liangmishi]

这种情况各位大大是如何解决的？
不用 selenium 等库，就用 requests 可有办法 ？

[ljcarsenal]

你在页面上 ctrl+u 看到的是什么样的内容 爬虫爬到的就是什么样的内容

[eromoe]

纯 js 网站就是这样啊，我记得好像可以用 pyv8 运行 js ，但是文档很不完善，基本就是坑

[liangmishi]

@ljcarsenal 确实如此

@eromoe 那只能使用 selenium 之类的库了，但是效率很低

[chairuosen]

用 vue2.0 的 server-side renderer

[foomorrow]

phantomjs

[eromoe]

@foomorrow
纯 python 就是 selenium +webdriver(phantomjs)， 要不还要学 phantomjs （虽然也不难，不过也有些坑）

[isbase]

推荐 nightmare

[iamsgg]

有的网站看来路，来路不对不返回内容。

[liangmishi]

@eromoe 学了一段时间 phantomjs ，感觉文档不多，学着累

@isbase 感谢~
@iamsgg 来路一般是看是否有 User-Agent 吧

[holajamc]

可以试试 httplib2 ，我觉得这玩意儿就是 Python 下的 HTTP 请求的王者， Selenium+PhantomJS 的话效率惨不忍睹，但是十分方便，多线程呗~

[tumb8r]

ajax??不返回 json ？

[ericls]

直接爬接口不是更方便 直接 parse json

[pncltp]

爬虫请用 scrapy 今天都说第二遍了。

[WildCat]

@liangmishi nightmare 完爆 phantomjs

[csy123]

@pncltp scrapy 能爬全 js 的网站?

[pncltp]

@csy123 这个 js 没有关系啊， http 无非就 get 和 post 。如果你说的是 json ，解析他的库实在太多。

[killerv]

这种调接口的更好爬吧，你要是解析页面当然是没有数据……

[liangmishi]

@holajamc 多线程的话也是内存可能会不够，所以这代价还是蛮大的

@pncltp 这和用不用 scrapy 没关系吧？

@tumb8r
@ericls 如果有接口当然是用接口方便，有时候没有

[holajamc]

不会太占内存，毕竟 Headless ， 10 个线程绝对能够应付

[ericls]

@liangmishi 如果没有接口那数据哪里来的

[liangmishi]

@holajamc 改天试试~谢谢

@ericls 假如有这样一个场景，我所访问的网页是返回了一段 js 代码，只有执行了这段代码才能知道跳转到哪里，那这时候只能去执行 js 代码了

[ericls]

@liangmishi 你也可以翻译这段代码