Scrapy 爬虫莫名奇妙暂停了？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2283 天前的主题，其中的信息可能已经有所发展或是发生改变。

一个很简单的爬虫，就是一直监控某个页面，xpath 解析。通常情况下是正常运行的，但是有时候爬虫停止运行，更神奇的是按下 ctrl+c(windows7)居然又继续运行了。请问有人遇到过类似的情况吗？

运行

爬虫

Scrapy

xpath

7 条回复 • 2018-01-25 23:39:06 +08:00

ilovebaicai

2018-01-23 17:47:48 +08:00

内部有加其他解析方式不（ requests ？），或者加一个 timeout。

gouchaoer

2018-01-24 10:26:17 +08:00

powershell 或者 cmd 中关闭快速编辑模式

gouchaoer

2018-01-24 10:26:23 +08:00

垃圾微软

beforeuwait

2018-01-25 11:36:19 +08:00

刚接触爬虫的时候遇到过，当时也觉得有意思。
不过脚本是自己写的哈。

ChenJinluo

2018-01-25 23:37:42 +08:00

@gouchaoer 我确实看了快速编辑模式。难道问题就出在这里吗，你也遇到过吗？我现在正在重现这个问题，不断尝试中，毕竟出现这个问题的概率有点小-。-

ChenJinluo

2018-01-25 23:38:14 +08:00

@gouchaoer 开了快速编辑模式。打错。

ChenJinluo

2018-01-25 23:39:06 +08:00

@beforeuwait 是用的 Scrapy 吗？你有解决吗？