數據挖掘工程師（爬蟲工程師)

【崗位職責】：
1、負責設計和開發網絡信息收集系統，完成關鍵信息的數據抽取、清洗、去重、分析等；
2、負責相關技術的研究和實現工作，比如驗證碼、JS分析等等；
3、負責公司相關系統的核心算法以及策略優化，熟悉收集系統的調度策略；
4、設計收集策略和防屏蔽規則，提升網頁抓取的效率和質量；
5、負責現有部分系統的完善、維護工作，實時監控的進度和警報反饋，提升系統穩定性、可擴展性；
6、能獨立解決實際開發過程碰到的各類問題。
【任職要求】：
1、本科及以上學歷，計算機相關專業；
2、至少3年及以上相關經驗；
3、精通golang語言，具有扎實的計算機基礎和編程能力，熟悉常見的算法與數據結構，具有優秀的邏輯思維能力；
4、熟悉Mysql,redis，有過數據庫調優和海量數據存儲經驗優先；
5、熟悉常見的反爬機制，并對反爬具有一定的應對措施策略且有一定研究；
6、熟悉APP逆向、JS逆向、驗證碼破解、圖像識別等技術；
7、熟悉常用網絡協議、數據存儲和數據處理技術；
8、熟悉linux系統環境、命令，shell、python腳本編寫；