到岗时间:不限
年龄要求:不限
性别要求:不限
婚况要求:不限
1、参与爬虫系统的架构设计与开发;2、负责设计和开发分布式网络爬虫系统,进行多平台信息的抓取和分析;3、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;4、能独立解决实际开发过程碰到的各类问题。职位要求:1. 熟悉linux开发环境,精通python开发语言。2.熟悉Mysql,redis,mongdb三者至少之一,有过数据库调优和海量数据存储经验优先;3.对常见的反爬虫策略有一定的研究,能够分析总结不同网站的数据特点及规律4. 熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理5. 熟悉基于#则表达式、XPath、CSS等网页信息抽取技术6.熟悉整个爬虫的设计及实现流程,有从事网络爬虫、网页信息抽取开发经验,熟悉反爬虫技术,有分布式爬虫架构经验。
求职提醒:求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。