应该从哪几个方面着手优化一个秒杀器呢？

在捣鼓一个秒杀器，想实现的功能就是监控网址抢拍。目前是页面定时刷新，然后用beautifulsoup来解析目标页面，过滤目标实现的（自动填单暂时还没实现）。监控多个网址的时候，就是循环这个列表，比如，解析一个页面2秒，10个地址跑完就是20秒。有没有其他更好的方案呢？或者目前这个方案想跑得更快，该如何优化呢？

页面

监控

优化

37 条回复 • 2014-10-31 11:19:29 +08:00

pimin

2014-10-29 11:47:43 +08:00 via iPhone

1.开多线程，每个查询一个线程。

akira

2014-10-29 11:51:31 +08:00

每个地址单独开个线程来监控吧

gs038538

2014-10-29 13:29:31 +08:00 via Android

关键是抢的到

pythonfan

2014-10-29 13:34:03 +08:00

@pimin
@akira
多谢~

pythonfan

2014-10-29 13:35:01 +08:00

@gs038538 嗯，下一步准备做自动下单，每一步都要优化，否则真抢不到。。。

limbo0

2014-10-29 14:46:07 +08:00

前几天那个说不要在淘宝拍卖的帖子难道在指楼主

gs038538

2014-10-29 14:57:23 +08:00

@pythonfan 哈哈，是啊~~抢不到，再怎么优化不都是0吗？

no13bus

2014-10-29 15:18:44 +08:00

@pythonfan celery

imn1

2014-10-29 17:35:33 +08:00

bs慢，想快首先换 lxml 或其他更快的dom解析，能用regex就更好，因为载入dom树比载入文本耗时

exceloo

2014-10-29 18:38:05 +08:00

用js...

chemzqm

2014-10-29 19:38:22 +08:00

多进程多代理，要是同时开抢，你一个循环刚开始人家都抢完了

20150517

2014-10-29 23:44:55 +08:00

beautifulsoup光这处理速度就已经秒了,这玩意
1. 要服务器离秒的服务器近
2. 用python太慢,最好直接c语言

TheLamb

2014-10-30 00:57:46 +08:00

这双十一快到了，LZ加油，到时候给我们测试一下

ClownQiang

2014-10-30 11:20:11 +08:00

同求测试。。。

unfurl

2014-10-30 11:51:14 +08:00

没用的…
关键时候页面能不能打开都是问题

cdxem713

2014-10-30 16:58:03 +08:00

感觉解析一个页面两秒太慢了，按理说不会这么长时间的，你的解析是指请求-响应-解析的一整个流程么？

cdxem713

2014-10-30 16:59:34 +08:00

开多线程，然后挂VPN不停自动切换VPN地址会快很多

pythonfan

2014-10-31 00:19:21 +08:00

@limbo0 哪个帖子？没看到啊

pythonfan

2014-10-31 00:21:35 +08:00

@gs038538 努力试了才知道嘛~最后如果秒不到，只能说技不如人了。。。

pythonfan

2014-10-31 00:25:44 +08:00

@no13bus celery还没用过，不知道是否适合这样的场景。。。

pythonfan

2014-10-31 00:26:35 +08:00

@imn1 多谢，到时换lxml 试试

pythonfan

2014-10-31 00:29:18 +08:00

@exceloo 单js能搞？

pythonfan

2014-10-31 00:34:04 +08:00

@chemzqm 要用代理么？我现在直接本机在跑。。。

pythonfan

2014-10-31 00:37:12 +08:00

@20150517 c语言不熟悉。。。只能先python试试看吧，服务器的话打算打听下，在同个机房租个空间跑程序，这样应该会快些吧。

pythonfan

2014-10-31 00:40:14 +08:00

@TheLamb 水平还太菜啊，跟专业秒家比，估计汤都没的喝，哈哈~

pythonfan

2014-10-31 00:41:22 +08:00

@unfurl 这个就看人品了，咱打不开，人家也打不开啊，哈哈

pythonfan

2014-10-31 00:47:32 +08:00

@cdxem713 之前不够严谨，随便举得例子，刚刚看了下，整个请求-响应-解析流程大概0.3-0.5秒的样子。请问不停自动切换VPN地址是为了啥呢？

exceloo

2014-10-31 09:01:01 +08:00

@pythonfan 可以，油猴脚本，就是浏览器要一直开着

exceloo

2014-10-31 09:02:22 +08:00

@pythonfan 你也可以用易语言，黑产链都用这玩意写秒杀器。

unfurl

2014-10-31 09:14:24 +08:00

@pythonfan 我帮朋友写过抢nike限量发售的鞋子，用的是selenium，选的vps跟网站延迟5ms以内；不太热门的款式，成功率七八成，热门的鞋子…… 发售前一小时网页就几乎打不开了

cdxem713

2014-10-31 09:56:20 +08:00

@pythonfan 不换IP的话这么高的请求频率应该很容易被封吧，不太理解秒杀器的原理，好像和爬虫差不多？

pythonfan

2014-10-31 10:13:37 +08:00

@cdxem713 嗯，和爬虫类似啊，加个自动填单提交

cdxem713

2014-10-31 10:19:21 +08:00

@pythonfan 是爬虫的话，同一个IP并发请求太多肯定会被封的，之前做过稳定点的就是，开多个线程并发请求，然后隔几分钟暂停这些线程，切换VPN地址，再开始线程，这种就不容易被封了。

pythonfan

2014-10-31 10:26:33 +08:00

@exceloo 易语言应该还没python快吧？。。。

pythonfan

2014-10-31 10:31:35 +08:00

@unfurl 发售前一小时。。。这是大家都开始开挂的节奏啊。。。

pythonfan

2014-10-31 10:38:10 +08:00

@cdxem713 多谢，看来切换vpn也必须上啊，不过目前测试阶段还没被封，哈哈

cdxem713

2014-10-31 11:19:29 +08:00

@pythonfan 可以先试试大并发会不会被封，这个东西每个网站也有不同。这类垂直爬虫，我觉得解析速度比较次要，提高request/response的速度，然后在安全的前提下提高并发数才比较关键。