• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 2940 天前的主题，其中的信息可能已经有所发展或是发生改变。
爱奇艺福利： 14 薪、 12 天年假，超一流的行政团队，日常活动多多 团队介绍：我们是一个信仰技术的团队，在这里，我们用技术说话，相信技术改变生活。目前团队负责全网视频、全网娱乐、资讯等新闻内容的抓取、分析和处理，是视频行业最成功的爬虫之一，目前支撑的数据量是 YouTube 的一半左右，大大超过中国同类网站，我们热衷于吸纳流行的技术如 docker 、 grails 、 hbase ，通过技术革命提高生产力。
薪资： 30k+，能力优秀者不受限
##工作职责：
- 负责爱奇艺分布式爬虫设计、代码审查以及项目难点攻关
- 负责爬虫智能化算法设计和开发
- 破解主流网站和 app 的反爬机制
- 搭建团队和规划团队发展
职位要求：
- 熟练掌握 JAVA 开发，熟悉掌握分布式应用开发原理，熟练掌握多线程开发，熟练掌握设计模式
- 掌握 jvm 调优，有线上调优经验
- 良好的计算机素养
- 掌握常用的数据库如 redis 、 hbase 、 mongodb 等
- 熟悉常用的 mq
- 熟练掌握 http 协议，以及 NIO ， apache http client
- 了解网站开发、 HTML 、 css 、 js 以及 ajax ，都熟悉加分
- 有反爬机制研发经验加分，有破解主流网站抓取接口经验加分
- 以上框架深入原理加分
爱好技术的你，简历准备好了么？发送到 shuaiweiliang##qiyi.com ##替换成 @
 |
1
golmic 2016-11-09 00:39:07 +08:00 via Android
为什么用 java 而不是 python 呢
|
 |
2
yidinghe 2016-11-09 08:34:02 +08:00 via Android
可能团队其他人也用的 java 吧
|
 |
3
vus520 2016-11-09 10:40:18 +08:00
为什么用 java 而不是 go 呢
|
 |
4
awolfly9 2016-11-09 11:56:07 +08:00
为什么用 java 而不是 python 呢
|
 |
5
gouchaoer 2016-11-09 12:18:16 +08:00
作为一个用 php 搞爬虫的码农来说，这个技术栈很靠谱…… py 和 go 论性能、生态、靠谱的第三方库和稳定性都不如 java
|
|
6
gouchaoer 2016-11-09 12:24:37 +08:00
最搞笑的是 go 语言拿来搞爬虫，你第三方库都不够成熟怎么搞，内容处理很琐碎的， go 除了 goroutine 和可以直接编译成无依赖二进制别的乏善可陈。爬虫高并发根本就不是问题，我 php 直接 guzzle 也可以异步并发在小 cpu 消耗+小内存消耗下跑满带宽，协程只是把异步以同步方式来写，性能上不会有本质区别。。。。论异步 http ， php 都可以打 go ：
韩天峰-Rango 11 月 7 日 10:17 来自 微博 weibo.com PHP7+Swoole 的 http 服务器和 Go 的 Http 服务器，在我的电脑上进行基准测试， Swoole 的性能总是 Go 的 2 倍。 https://github.com/swoole/swoole-src/blob/master/benchmark/http.php https://github.com/swoole/swoole-src/blob/master/benchmark/http.go |
Select Language