这是一个创建于 2031 天前的主题，其中的信息可能已经有所发展或是发生改变。
这篇文章没有代码，请放心阅读（送书活动在末尾）。
多年以后，面对人工智能研究员那混乱不堪的代码，我会想起第一次和 S 君相见的那个遥远的下午。那时的 B 公司，还是一个仅有 6 个人的小团队，Mac 和显示器在桌上依次排开，大家坐在一起，不需要称呼姓名，转过脸去，对方就知道你在和他说话。一切看起来都那么美好，我们所有人，都希望自己和这个公司能够一起成长。
彼时 S 君刚从加拿大回来，老板把他介绍给我们，于是 S 君作为数据产品经理跟我有了项目上的接触。
创业公司里面，每一个人都需要会很多的技艺，于是 S 君开始自学 Python。
有一天，S 君问我：“你玩 MineCraft 吗？“
“玩，但我更喜欢在 B 站上看别人的世界。”我答道。
“我觉得我现在写程序，像是在玩我的世界。” S 君笑着说道。
“是不是觉得你已经掌握了 Python 的基本语法，看着别人把 Python 用的溜溜转，而你自己却不知道用它来做什么？”
“是这样的，你懂我。”
“那你学一门杂学吧。”
于是 S 君被我诱拐过来跟我一起写爬虫。
后来，S 君离开了 B 公司。
三个月后，我也离开了。
从此，我们再也没有见过。
写爬虫与三峡大坝
有一天，S 君兴冲冲地跑来跟我说：“我体会到三峡大坝的伟大功能了！”
“你是爬虫工程师还是水利工程师？”
“你知道吗，不管上游的水势多么凶猛，从大坝出来以后总是安全而稳定。” S 君并没有回答我的问题，而是自顾自地说道。
“原来你开始用 Kafka。不错，孺子可教。”
S 君吐了一下舌头：“还是师傅教导有方。”
前不久，S 君的爬虫刚刚达到了日产数据千万条的目标。然而他只高兴了一天。因为他发现，数据写到数据库以后，读起来很麻烦。
S 君有多个数据分析的系统需要从数据库里面读取爬虫爬好的数据，但是从每天千万量级的数据中寻找特定的数据是一个很慢的过程。如果程序遇到异常导致崩溃，又得从头开始读。
S 君问我：“现在我每一个数据分析的脚本都要从数据库里面读一次数据，做了太多重复的工作，单机单节点的数据库快要撑不住了。我是不是要去学习分库分表搭建集群啊？”
我告诉 S 君：“这个后面你自然是需要去做的。但现在，你可以先试一试 Kafka，我已经搭建好了一个 Kafka 的集群了，你这样使用……”。
后来，S 君让所有爬虫把爬到的数据到直接送进了 Kafka，然后再从 Kafka 里面读数据出来，一个 Group 用来备份原始数据，一份 Group 用来生成中间表，一份 Group 用来监控报警，一份 Group 用来绘制 DashBoard。无论爬虫塞给 Kafka 的数据有多少，有多快，从 Kafka 读数据的地方都能按照自己的节奏来消费和使用。
编程最重要的能力是变通
S 君是一个老实孩子。
在开发一个爬虫的过程中，网站接口返回给他的数据看起来是 JSON 格式，于是他就用 Python 自带的 JSON 库去解析。结果解析失败了。因为这些所谓的看起来像 JSON 的东西，竟然没有双引号。
难道是 JSON 的超集？ S 君一通搜索，发现用 YMAL 库也许可以解析这种数据。于是安装 YMAL 库，一解析又报错。
难道这些数据直接就是 Python 的字典？于是 S 君用上了邪恶的 eval。又报错，因为里面有 null 和小写的 true。
“你为什么不试一试直接用正则表达式呢？”我对 S 君说。
“靠！” S 君一拍桌子，旁边的老板吓得把搪瓷杯子里面的快乐水洒在了白衬衣上。
然后 S 君用正则表达式花了 10 秒钟结束了战斗。
既然收集了数据就要让它发光发热
S 君在加拿大留学时学的专业是金融数学和统计。所以他对数据分析也很有兴趣。在他爬虫收集的数据够用以后，我跟他讲了如何使用 Pandas 来分析数据。
S 君把他分析的酒店价格变化数据给分享给了我们。不愧是金融+数学+统计学背景的高级知识分子 + 超级强大的 Pandas + 超级好用的 Jupyter。这份数据不仅完美再现了过去一年的价格走势，还预测了未来的任何变化，多达四十六张图表似乎穷尽了所有的组合。
你小学上课传过纸条吗
“我现在能体会那些半路拦截纸条的人是什么心态了。”这是 S 君第一次使用 Charles 时对我说的话。
从此以后，我很少看到 S 君分析网页了。因为他学会了在爬虫开发的过程中，首先通过中间人攻击技术分析微信小程序和手机 App。这种方式往往能够直接获得数据，拿到数据以后就能直接储存，再也不用写烦人的 XPath 或者长的跟表情符号一样的正则表达式了。
有一天，我在玩一个网页版的黑客解密游戏，在网页上寻找某个地方隐藏起来的密码，然后输入每一关的回答框中，答对才能进入下一关。
游戏有 12 关，而我卡在了第 6 关。只见 S 君拿着电脑走到我面前，指着第 12 关的通关页面跟我炫耀。
“你是不是用 MITMProxy 替换了这个网站的 Js 文件？”
“果然还是瞒不过师傅你啊。”
“你拦截了别人的纸条，做了修改，然后又叠好继续传下去，你有考虑过发纸条的人和收纸条的人的感受吗？”
“我小学时候不传纸条，都是妹子直接约我的。”
加密？不存在的
“前端没有秘密”。S 君在成功逆向了一个网站的 Js 文件以后如是对我说。
“那是因为这个网站的 Js 代码就赤裸裸地放在你面前，完全没有混淆。”我对 S 君说道。
“不怕，我可以用 Node.js 来运行混淆过的代码。我已经搭建好 Node.js 服务了，只要把 Js 代码传进去，他就会把结果给我返回回来。” S 君对此似乎一脸自行。
“你什么时候学会的 Node.js ？”
“这不是师傅你说过技多不压身吗？既然做爬虫需要动 JavaScript，那我顺手就把 Node.js 给学了。” S 君毫不畏惧的表情，似乎证明他已经猜透了我要问什么。
“那如果目标没有网站，只有 App 呢？”
“不怕，Android 逆向工程我也顺便研究了一点。Java 我也看得懂。”
“看来这些已经不需要我再教你了。”
你肯定薅了直播答题的羊毛吧
去年年底的直播答题着实火了一把。那个时候，我和 S 君分开已经有一段时间了。我相信，在全民答题的每一个夜晚，S 君的电脑上一定连着不少于六台安卓手机。这些手机运行着不同的答题平台，能够自动读取屏幕上的问题并自动选择答案。
我把安卓自动化测试技术教给 S 君，本来是让他结合爬虫，实现群控从而抓取一些难以处理的数据，但我相信他肯定会用来答题。
变通，这一点他学的越来越好了。
只希望他不要成为羊毛党。
后记
后来，我再也没有见过 S 君这样有趣的人。所以我把我和 S 君的故事写成了一本书：《 Python 爬虫开发 从入门到实战》，现在已在京东，当当与亚马逊上架。
- 京东： https://item.jd.com/33577263621.html
- 当当： http://product.dangdang.com/25349717.html
- 亚马逊： https://www.amazon.cn/dp/B07HGBRXFW
相信我一次，这本书真的不是从入门到放弃系列。
爬虫是一门杂学。因为在一个完整的开发过程中，需要涉及到的知识可以包括但不限于：Python，HTML，JavaScript，正则表达式，XPath，数据库，Redis，消息队列，Docker，ELK，Hadoop，数据分析，ETL，中间人攻击，自动化测试技术，可视化……
这其中的任何一项，在一个大公司里面都可以让很多人来做。
就像这篇文章里面反复出现的一个词：变通。
只要能够获得数据，任何技术都可以使用。所谓草木竹石皆可为剑。
爬虫开发，绝对不仅仅是 Scrapy，PySpider，requests 这些框架或者库的使用。所以在这本书里面，我也刻意减少了框架使用说明的部分，而把重点放在了各种突破反爬虫机制或者使用变通的方法绕过反爬虫机制的方法论和实践中。
通过学习爬虫，你最后不一定选择爬虫工程师这个岗位，但是在学习爬虫的过程中，你将会接触到的各种工具，方法，服务组件，都会在你以后的生活和工作中帮到你，让你知道，在遇到一个问题的时候，解决方法在哪个地方。
送书活动
感谢你读到了这一行，希望我这篇蹩脚的软文没有让你觉得讨厌。新书上架，回馈 V 友。我将会从所有留言的 V 友中选中 6 人，一人赠送一本《 Python 爬虫开发 从入门到实战》。
按照惯例，选人的方式如下：
- 2018 年 9 月 30 日早晨，我会打开网易财经查询 2018 年 9 月 28 日的网易收盘价。
- 网易收盘价转成字符串分别加上『 P 』、『 y 』、『 t 』、『 h 』、『 o 』、『 n 』获得 6 个字符串。例如『 2,806.81P 』、『 2,806.81y 』等等
- 通过 Python 自带的 hashlib 中的 sha256 算法，计算这 6 个字符串的哈希值。
- 哈希值转换为十进制以后除以截至 2018 年 9 月 29 日 10:00 的总楼层数，获得 6 个余数
- 6 个余数对应的楼层数将会获得赠书。
- 如果同一个人中奖两次，第二次自动顺延给下一层楼。
- 顺丰包邮（港澳台、新疆西藏除外）
第 1 条附言 · 2018-09-27 11:04:35 +08:00
我原本给这本书起的书名叫做《虫师的修炼之道》。出版社编辑觉得这样不好做 SEO。为了增加『 Python 』『爬虫』『入门』『实战』方便搜索，才强行改了书名。
所以请相信我，这真的不是一本从入门到放弃的书。
所以请相信我，这真的不是一本从入门到放弃的书。
第 2 条附言 · 2018-09-27 12:38:43 +08:00
抽奖所用的数据，见图中红框框住的这一列。
第 3 条附言 · 2018-09-29 12:42:18 +08:00
开奖啦开奖啦！
收盘价如图：
抽奖代码如下：
恭喜以下六位中奖。
@Dv @cosmo @ycgk @zerOlike @Mrxiaoxie @wobushizhangsan
其中576号是我自己。所以顺延给577号。
请中奖的同时，使用base64编码自己的邮箱回复到本帖并@我。我会使用Y29udGFjdEBraW5nbmFtZS5pbmZvCg== 对应的邮箱给各位发送邮件确认领奖事宜。
第 4 条附言 · 2018-09-29 22:03:14 +08:00
我创建了本书的读者交流群，如果大家对本书有什么期待或者疑问， 可以在群里面进行交流。
加群方法：
添加微信公众号
回复：读者交流
 |
301
wangfeng3769 2018-09-27 14:27:20 +08:00 via Android
运气一把
|
|
302
wangfeng3769 2018-09-27 14:28:37 +08:00 via Android
运气
|
 |
303
njlcazl 2018-09-27 14:28:49 +08:00
分母还是要当一当的
|
 |
304
bluepikachu 2018-09-27 14:29:47 +08:00
抽奖方式太酷，+1 楼
|
 |
305
wondersland 2018-09-27 14:29:49 +08:00
竟然看完了。。
|
 |
306
qq603540681 2018-09-27 14:30:50 +08:00
分母加 1
|
 |
307
shoumu 2018-09-27 14:31:32 +08:00
做一个分母
|
 |
308
mouse0809 2018-09-27 14:33:15 +08:00
拿书来砸我吧！
|
 |
309
gyp 2018-09-27 14:33:38 +08:00
碰瓷碰瓷碰瓷碰瓷碰瓷碰瓷碰瓷碰瓷碰瓷碰瓷碰瓷
|
 |
310
madao 2018-09-27 14:33:46 +08:00
写的不错。
|
 |
311
alphabet666 2018-09-27 14:34:19 +08:00 via iPhone
分母
|
 |
312
ymk18 2018-09-27 14:34:33 +08:00
分母+1
|
 |
313
HFX3389 2018-09-27 14:34:53 +08:00
运气
|
 |
314
avaJ 2018-09-27 14:34:58 +08:00
专注分母一百年
|
 |
315
guogang9011 2018-09-27 14:35:47 +08:00
中一次？
|
 |
316
wyaming89 2018-09-27 14:36:47 +08:00 via Android
分母
|
 |
317
tookbra 2018-09-27 14:37:16 +08:00
分母
|
 |
318
F0r3v3r 2018-09-27 14:38:25 +08:00
做分母的同时，更想做个分子
|
 |
319
toblkr 2018-09-27 14:38:42 +08:00
当分母
|
 |
320
Don9 2018-09-27 14:39:27 +08:00 via Android
都当分母，那分子就是我的了！
|
 |
321
AscenZ 2018-09-27 14:39:41 +08:00
既然那么多分母，那我当分子吧
|
 |
322
ArthurHe 2018-09-27 14:40:01 +08:00
继续拉低中奖率！
|
 |
323
ftcto 2018-09-27 14:40:40 +08:00
做一个合格的分母
|
 |
324
zhkrb 2018-09-27 14:41:58 +08:00
挺有意思，那我也掺一脚
|
 |
325
sunsihtf 2018-09-27 14:44:13 +08:00
看完了。。故事讲得不错
|
 |
326
lalala121 2018-09-27 14:44:41 +08:00
直接下来当分母,帖子慢慢看
|
 |
327
kenv07 2018-09-27 14:45:06 +08:00
奥利给
|
 |
328
Songfenzhe 2018-09-27 14:45:31 +08:00
做一个合格的分母
|
 |
329
NaVient 2018-09-27 14:45:39 +08:00
占个分母 所有楼主就是我以前入门看的虫师博客的主人咯！
写得很棒 |
 |
330
chosen1cwp 2018-09-27 14:49:50 +08:00
很认同‘变通’的能力，俗话说得好：不管黑猫还是白猫，能抓住老鼠的就是好猫
|
 |
331
allen6699 2018-09-27 14:49:54 +08:00
做个分子也很好
|
 |
332
inhzus 2018-09-27 14:49:55 +08:00 via Android
做个分子！
|
 |
333
likokov2 2018-09-27 14:49:59 +08:00
试一试
|
 |
334
grewer 2018-09-27 14:50:39 +08:00
又到了我最喜欢的送书环节了!
|
 |
335
ssaber 2018-09-27 14:51:14 +08:00
分母+1
|
 |
336
Egil 2018-09-27 14:54:54 +08:00
分母
|
 |
337
goodboy 2018-09-27 14:57:50 +08:00
迷迷糊糊，糊糊迷迷，似懂非懂的看完。。。。
|
 |
338
zhangchioulin 2018-09-27 14:58:56 +08:00
分母+1
|
 |
339
wx1820663102 2018-09-27 14:59:53 +08:00
我来当分母
|
 |
340
hsjylaji 2018-09-27 14:59:53 +08:00
什么是分母
|
 |
341
BALLACK 2018-09-27 15:00:46 +08:00
来
|
 |
342
NotFamous 2018-09-27 15:01:41 +08:00
继续蹭一波
|
 |
343
circle0317 2018-09-27 15:02:08 +08:00
分母+1
|
 |
344
Prkom 2018-09-27 15:02:26 +08:00
我喜欢。
|
 |
345
bienyur 2018-09-27 15:03:41 +08:00
分母
|
 |
346
tigerZhang 2018-09-27 15:04:03 +08:00
试试吧
|
 |
347
kj 2018-09-27 15:06:25 +08:00 via Android
分母
|
 |
348
xoyoju 2018-09-27 15:06:49 +08:00
分母+10086
|
 |
349
Dididadada 2018-09-27 15:07:06 +08:00
分母
|
 |
350
kevanbin 2018-09-27 15:07:41 +08:00
分母
|
 |
351
Cu635 2018-09-27 15:12:07 +08:00
9 月 30 日开奖……这个时候很多人都在回家的路上了吧？
|
 |
352
srffysfg 2018-09-27 15:12:50 +08:00 via Android
来了哈
|
 |
353
cwcauc 2018-09-27 15:13:24 +08:00 via iPhone
分母分母
|
 |
354
falleaves 2018-09-27 15:13:32 +08:00
抽奖挺有意思的
|
 |
355
Applenice 2018-09-27 15:14:50 +08:00
组成分母~~~~
|
 |
356
XTIEJIANG 2018-09-27 15:15:12 +08:00
分母+1
|
 |
357
yamato 2018-09-27 15:17:05 +08:00 via Android
资瓷一下
|
 |
358
ahswch 2018-09-27 15:23:51 +08:00
分母
|
 |
359
benzalus 2018-09-27 15:25:53 +08:00
S 君真强，没被楼主搞死……学习下
|
 |
360
Hagrid 2018-09-27 15:33:44 +08:00
分母+1
|
 |
361
itskingname OP @Cu635 实际上 29 号 10 点以后就可以抽奖了。
|
 |
362
fish267 2018-09-27 15:41:01 +08:00 via Android
母
|
 |
363
wjhh 2018-09-27 15:48:09 +08:00
当一次分子吧
|
 |
364
zcg19960121 2018-09-27 15:49:55 +08:00
分母加一。
|
 |
365
ddjian 2018-09-27 15:51:04 +08:00
分母
|
 |
366
jsun 2018-09-27 15:51:21 +08:00
故事写得不错，插
|
 |
367
msdos41 2018-09-27 15:52:54 +08:00 via Android
可以可以！
|
 |
368
a330202207 2018-09-27 15:53:36 +08:00
分母
|
 |
369
zzk 2018-09-27 15:57:57 +08:00
python
|
 |
370
wangchonglie 2018-09-27 16:00:33 +08:00
这次分子是我了吧?
|
 |
371
hjw45611 2018-09-27 16:01:37 +08:00
软文果然很 6，不过看的出写的很用心。
|
 |
372
soul1899 2018-09-27 16:02:48 +08:00 via iPhone
放弃到入门
|
 |
373
lueffy 2018-09-27 16:03:00 +08:00
分母
|
 |
374
shore507 2018-09-27 16:03:27 +08:00
来来来，中一次试试
|
 |
375
yaleax 2018-09-27 16:06:13 +08:00
抽一下吧，肯定中不了。
|
 |
376
ae86 2018-09-27 16:07:57 +08:00
从来没中过，嘤嘤嘤
|
 |
377
talen666 2018-09-27 16:08:09 +08:00
分母
|
 |
378
huiyizhong 2018-09-27 16:15:28 +08:00 via Android
高香三柱，求中奖……
|
 |
379
fliu2476 2018-09-27 16:16:50 +08:00 via iPhone
写的很生动，赞
|
 |
380
mailsuhua 2018-09-27 16:17:42 +08:00
+1
|
 |
381
mineqiqi 2018-09-27 16:18:47 +08:00
写的很好，我很喜欢看关于程序员的小说，上次看还是大三时的寝室，躺在床上看着疯狂的程序员，边看边幻想绝影就是我自己
|
 |
382
17666294788 2018-09-27 16:20:00 +08:00
先收藏了，有时间慢慢看
|
 |
383
a194259440 2018-09-27 16:20:47 +08:00
看，是个分子！？？
|
 |
384
largek 2018-09-27 16:27:44 +08:00
来本书
|
 |
385
liuguangcuican 2018-09-27 16:28:20 +08:00
挺喜欢这种写作方式的
|
 |
386
chuhemiao 2018-09-27 16:29:24 +08:00
貌似很厉害的样子
|
 |
387
gps949 2018-09-27 16:34:24 +08:00
S 君，B 公司
好名字。。。 |
 |
388
yatsun 2018-09-27 16:36:42 +08:00 via Android
抽奖方式很厉害👍，当下分母
|
 |
389
ekin1106 2018-09-27 16:36:59 +08:00
我要做分子~
|
 |
390
vowers 2018-09-27 16:41:01 +08:00
写爬虫写的要吐
|
 |
391
wina66 2018-09-27 16:42:00 +08:00
random
|
 |
392
olaola 2018-09-27 16:43:09 +08:00
故事写的可以
|
 |
393
ID2333 2018-09-27 16:44:06 +08:00
人生苦短，想学 python ！
|
 |
394
liuchengz 2018-09-27 16:44:23 +08:00
是时候测测人品啦
|
 |
395
deadEgg 2018-09-27 16:45:10 +08:00
假分母
|
 |
396
Wakaka4lzp 2018-09-27 16:46:05 +08:00
拉低中奖率
|
 |
397
0x7ffffffff 2018-09-27 16:46:59 +08:00
666,Python 爬虫学起来！！！
|
 |
398
backfrw 2018-09-27 16:49:50 +08:00
抽奖太酷加一
|
 |
399
whatever93 2018-09-27 16:50:12 +08:00 via Android
拉低中奖率
|
 |
400
Goooa 2018-09-27 16:50:14 +08:00
多谢楼主赠书~
|
Select Language