首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
• 外包信息请发到
/go/outsourcing
节点。
• 不要把相同的信息发到不同的节点
V2EX
›
酷工作
招聘-远程<爬虫工程师>
nini0804
·
1 天前
· 424 次点击
岗位职责:
1.负责爬虫系统的核心技术研究、架构设计、系统规划
2.负责爬虫核心算法的策略优化,提升网页抓取的效率和质量
3.研究各种网页、微信、app 接口,实现多通道抓取
4.反爬策略的设计及优化
5.负责业务需求分析、系统设计、开发计划的制定与跟进
6.负责爬虫系统研发过程跟进、代码 review 、质量控制
任职要求:
7.根据项目需求攻破网站 APP 端防御系统后并爬取数据
1.负责开发网页数据的自动化爬取脚本程序及自动化解析脚本程序,清洗、分类已解析的互联网数据
2.负责自动化数据解析系统的部分模块开发,参与核心爬虫系统架构设计、数据库设计
分析爬虫系统的技术缺陷,对策略架构作出合理地调整和改进
3.2 年以上相关工作经验且精通 Python 语言,熟悉网路架构、爬虫程式原理,有开发爬虫框架及自动上传的经验优先
4.熟悉多线程、网路编成,精通网页抓取原理及技术,能从结构化和非结构化的数据中获取信息
5.熟练使用 MySQL 数据库,掌握 Redis 、MongoDB 、Hive 等常用 NoSQL"
联系方式:telegram:@bobi608
目前尚无回复
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
1051 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 646ms ·
UTC 20:04
·
PVG 04:04
·
LAX 12:04
·
JFK 15:04
Developed with
CodeLauncher
♥ Do have faith in what you're doing.