北京澳际国际旅行社有限公司
公司简介
澳际教育集团成立于1990年，是国内提供澳际留学、澳际移民、澳际游学、澳际英语、国际学校、澳际置业、澳际财富、澳际管家等八大业务的国际服务公司，旗下包含澳际游学、国际学校、澳际留学、澳际移民以及澳际境外服务网点。得益于各位学生及家长的鼎力相助、热情鼓励和密切留意，澳际教育集团展现出几何级数的进步与成长，持续闪耀着璀璨的光芒，并收获了卓越的成就。澳际教育集团全力支持每一届中国学子达成理想与抱负。
招聘职位
招聘岗位：大数据爬虫工程师（2人）
要求专业：计算机类
要求学历：本科
职位详情
一、详细内容
针对若干指定站点，执行页面剖析，开展信息抓取与获取，并设法绕过其反爬虫机制，同时进行策略破解。
2、负责数据清洗、入库、服务化等研发和优化工作；
研究目标网页的构造，并选择最合适的获取途径，跟踪目标信息的变动情况，按计划进行更新，确保信息的及时性。
负责分布式网络爬虫系统的研发与构建，执行信息采集和处理任务，同时开展数据分析工作。
钻研网络爬虫的方法和反检测机制，克服账号验证、图形验证码、IP地址封锁、网址跳转、动态元素等障碍，增强网页数据采集的效能和精确度。
需要同相关单位商讨其数据采集的具体要求，同时提供专业的意见和应对策略。
二、要求
拥有大学本科或以上学位，专业为计算机类，熟练掌握Python编程语言，熟悉通用的网络数据采集工具，具备高效的数据获取与处理能力；
2、熟悉HTTP/HTTPS协议、爬虫相关前端技术；
掌握常见的反爬取策略，并且能够运用对应的技术方法加以处理，例如使用IP中介、设定用户标识、破解验证图形等；
精通数据库相关知识，包括MySQL、MongoDB等系统，可以完成数据保存和检索工作。
拥有很强的逻辑思考能力，对于处理难题很有兴趣，擅长剖析问题/处理问题；有利用爬虫结合人工智能进行项目经验的更佳。
联系方式
公司网址：http://www.aoji.cn/
公司地址：北京市东城区北京市东城区灯市口大街2层207
