Azure資深數據工程師

主要職責：
1.數據架構設計：
-基于Azure平臺（如Databricks、SQL數據庫及Azure數據工廠）構建高可用、可擴展的數據架構體系。
-部署事件中心組件，實現持久化機制與數據模式校驗邏輯。

2.數據質量與治理：
-構建并落地數據質量監控與分析框架，有效識別并處理重復數據、缺失值及異常記錄。
-落實數據治理規范，確保符合GDPR要求及信息安全最佳實踐。

3.云環境集成：
-配置并調優Azure云服務，包括Kubernetes、Docker及虛擬機資源。
-實現多源數據整合，保障內外部系統間數據接入的穩定性與實時性。

所需技能與能力
1.技術專長：
-熟練運用Azure相關服務，如Azure數據工廠、AzureFunctions、Databricks、SQL數據庫等。
-掌握Python與SQL編程，具備實際開發能力。
-了解Kettle工具及AirflowDAG任務調度機制。
-具備PostgreSQL/PolarDB數據庫使用經驗。
-熟悉Hadoop、Spark、Flink等大數據處理框架。

2.云開發能力：
-擁有Azure與AWS云平臺的實際項目經驗。
-精通Kubernetes與Docker等容器化技術的部署與運維。

3.語言能力：
-英語熟練，能與英國、印度、德國等地團隊順暢溝通協作。