數據工程師

崗位職責
1.以Python為主要開發語言，構建數據抽取、清洗、轉換等ETL流程，滿足業務側數據處理需求；
2.負責ApacheAirflow工作流平臺的部署、維護與調優，規劃DAG任務調度策略，確保數據作業穩定高效運行；
3.參與大數據平臺（Hadoop、Spark、Hive等）的日常運維，識別并解決數據處理中的性能問題；
4.使用Python開發自動化腳本，推動數據流程與運維操作的標準化和自動化，提高整體執行效率；
5.建立數據處理與任務調度的監控預警體系，及時發現并處理異常情況；
6.協同研發與業務團隊，深入理解數據需求，交付高質量數據成果，支持業務持續運轉。

任職要求
1.具備2年以上數據領域相關經驗，熟練使用Python進行數據處理及腳本編寫；
2.精通ApacheAirflow，有DAG任務設計、調度優化及系統升級的實際項目經驗；
3.熟悉主流大數據組件（Hadoop、Spark、Hive等），掌握其數據流轉機制；
4.掌握Linux系統基本操作，具備獨立分析和解決數據任務運行問題的能力；
5.具備較強的邏輯分析能力和溝通協作能力，英文表達流暢，可跨團隊推進項目實施；
6.有Ansible/Terraform類自動化工具或AWS/阿里云等公有云平臺使用經驗者更佳。