你要速度和高性能 可以用 nosql 和 mq。
但是 爬虫最重要的你要面对反爬虫，单个账号对于大多数网站来说，就算你使用代理，也会被封掉。