冬季的黄山还真是别有一番味道。这是用手机拍的吗？

@1987618girl 无 git 。
@sinux 你是说抓取部分还是 django 部分？

@XianZaiZhuCe 自己撸可以撸出成就感

@lawder 部分数据来自于搜狗搜索

反过来我已经实现了： http://v2ex.com/t/241919

pv 不是越多越好吗？不然你搭个网站干嘛？

谁说自营网站是玩玩的？

10 月 27 号的前三名被中国人包了。。。

为什么要 sleep ？ scrapy 不是可以自己控制并发数吗？

@RyuZheng 楼主说是 youtube ，不是 youku

@xiaoyu9527 看你“做个 xx 站怎么样”的问题也思考很久了，那你打算什么时候开始？

做英文的还是有前途的，启动资金也不用很多， 1w 刀就可以很轻松的开始了（ 1w 刀包括买程序、买服务器）

@boro
proxy =['x.x.x.x:xx','x.x.x.x:xx','x.x.x.x:xx'...........]
random.choice(proxy)

刚刚去看了下 tor 的原理，“ Tor 的转发节点都是网络上的志愿者们使用自己的服务器和网络带宽建立起来的，如果通过 Tor 网络来进行巨额数据的传输，实在是非常的不厚道”。
我决定放弃使用 tor 抓取大量数据了，多谢 boter 提醒，也请大家仅用这个方法来测试用，不要用作生产环境。
在这里推荐另外一个方法：
https://github.com/wenson/proxypool
这个可以抓取各大 proxy 站点公布的 proxy ，经过测试有效性后存入 redis ，可以同时提供多达几百个有效 proxy ，可以自己写个 cronjob 每隔一段时间更新 proxy 库，用作抓取应该够了。

@boter 好吧，我去开少点，其实我也只是抓取的时候开一下啊，一般每次就一两个小时。[doge] 是什么意思？

@kmahyyg 开 n 个 tor ，比如： tor --RunAsDaemon 1 --CookieAuthentication 0 --HashedControlPassword "" --ControlPort $your_random_port --PidFile tor$your_random_id.pid --SocksPort $your_random_socks_port --DataDirectory data/tor$your_random_id ，然后你就有了 n 个不同端口的本地代理啊，然后抓取程序随机选择一个就行了。

tor ，你值得拥有。
我在 do 的 vps 上开 100 个 tor 实例，每小时重启 1/3 实例，于是就有了取之不尽用之不竭的 ip

windows 的话 PythonWin ，非常轻。

一直用的一个： http://www.coolestwallpapers.com