scrapyd 部署不会添加外部文件吗

[tuoov]

尝试使用 scrapydweb 部署项目，但是那些需要导入外部文件(包含 urls 的文本文件或 json)的爬虫全部上传失败了，报错都是 FileNotFound 。没有这种依赖的爬虫能够正常地部署并使用，有什么解决方案吗？

[yagamil]

egg

[tuoov]

@yagamil 我通过绝对路径检查了一下，好像在 egg 化项目时的确不会打包这些文件，是我处理的方式有问题还是设计就是这样？

[Kobayashi]

不会。部署时先打包（还 TM 是个 egg 包），然后交给 scrapyd 。我记得可以配置 setup.py 打进去，但没什么用，你加载不了文件。你需要理解 egg 包是不被解压的，我的理解是你不能 open("my_pkg.egg/.env") 直接打开压缩包内文本文件。需要写到 .py 文件，在其他位置导入。