高级 Python 开发工程师(爬虫向)
岗位职责:
1.负责大规模数据的抓取、包括调度、消费、解析、去重;
2.设计抓取系统,设计流程与架构(稳定性及性能兼备),负责抓取后端的接口开发及优化。
任职要求:
1.全日制本科,2 年以上爬虫或服务端开发经验;
2.熟练掌握 Python 语言,熟悉操作系统基础、linux 环境,熟练掌握 http/tcp 相关实践知识,有后端接口开发经验;
3.熟悉各种消息队列、数据库、服务器如 redis, rabbitMQ, mysql, mongodb ;熟悉后端开发框架如 flask, django, tornado 等;
4.有爬虫相关经验,熟悉爬虫的架构与流程,对怎样搭建可扩展可配置自由通用的爬虫系统有自己的理解;熟悉第三方爬虫库如 scrapy, pyspider 等,或者自己实现过;
5.有异步并行开发经验,理解进、线、协程在 python 中的应用及内部实现(比如 tornado ioloop );
6.对于新模块和新架构有不错的学习能力,有创新的思维和略带完美主义的自我要求。
加分项:
大规模分布式爬虫系统架构与设计经验;
有微信公文抓取、微信机器人、微博抓取等实际项目经验;
有 golang 语言相关开发经验;
工作地址
上海 - 黄浦区 - 打浦桥 - 蒙自路 169 号 制造局 1 号楼 307 楼
联系方式: 邮箱: [email protected] 求转发求推荐~~~