服务器是 Centos 6 , 爬虫运行的时候终端上操作就会非常卡。检查过 cpu ,内存都不高,磁盘读写也不高。
然后通过more /proc/sys/fs/file-nr
看,文件的打开数也才 1900
同样的程序在我的 mac 上跑就没有这些现象。
1
wlsnx 2016-01-05 10:26:05 +08:00 1
可能是网络原因
|
2
flyshu 2016-01-05 11:12:00 +08:00 1
网络带宽占满了?
|
3
Landarky 2016-01-05 14:22:54 +08:00 1
估计和我一样 网络带宽限制
|
4
limbo0 2016-01-05 15:45:23 +08:00 1
如果是 ssh 到服务器应当会卡的
|
5
em70 2016-01-05 15:51:23 +08:00 via iPhone 1
用云服务器,上行带宽不限,很适合跑爬虫,比如阿里云买 1M 的带宽 ECS ,爬虫用 1G 带宽都可以
|
6
youxiachai 2016-01-05 15:53:29 +08:00 1
这个终端卡,不都是网络问题吗。。。我还以为都是常识来的
|