到岗时间:不限
年龄要求:不限
性别要求:不限
婚况要求:不限
1、完成对复杂网站的数据抓取和交互模拟;
2、通过各种渠道或方式对相关网站进行抓取;
3、不断完善并维护相关网站的抓取,使之稳定运行,核心逻辑必须有单元测试;
4、善于灵活运用各种非爬虫技术解决爬虫相关问题;
5、随时响应并解决突发问题;
任职要求:
1、五年以上网站抓取经验,有电商网站、舆情相关抓取经验;
2、有较强的网站分析能力,熟知各种反爬措施及相关解决办法
3、熟练使用eventlet、gevent、requests、selenium等技术实现高并发稳定抓取;
4、熟练使用消息队列(MQ)、celery等异步框架实现分布式任务处理;
5、熟知HTTP、TCP、Socket等底层知识;
6、熟练掌握Fiddler、Http debugger等抓捕工具;
7、熟悉WebMagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬;
8、熟悉MySQL、MongoDB基本使用;
9、熟悉python Scapy,熟悉javascript,有一定的分析能力;
求职提醒:求职过程请勿缴纳费用,谨防诈骗!若信息不实请举报。