岗位职责：

1、负责分布式网络爬虫系统的架构设计与开发； 

2、负责海量数据的爬取、清洗、解析、入库； 

3、负责破解各类反爬机制； 

4、不断提升数据抓取系统的自动化水平。

任职资格：

1、本科及以上学历，计算机相关专业，具备3年以上实际爬虫开发、内容提取等工作经验；

2、熟悉Linux平台开发，并且熟悉多线程模型编程、网络编程，熟悉HTTP、TCP/UDP协议；

3、精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；

4、攻坚能力强，能迅速独立解决网站反扒策略更新等问题；

5、精通Java、Python编程语言；

6、具有Android或iOS逆向经验者优先；

7、有较强的工作责任心和良好的沟通协同能力，有钻研精神，对技术、大数据充满热情，有团队合作精神。