數據工程師

一、數據流水線設計
1，構建從數據獲取（如交易所、第三方API）到存儲（數據湖/倉）的完整ETL/ELT流程。
2，利用分布式調度平臺（Airflow、Luigi等）管理多任務依賴與自動化執行。
二、大數據生態
1，熟悉Hadoop、Spark、Flink等分布式計算框架，靈活選擇批處理或流處理模式。
2，針對不同數據類型（結構化、半結構化、流式）選擇合適存儲與索引策略（Hive、HBase、Kafka等）。
三、云與容器化
1，具備云原生思維，熟悉主流云平臺（AWS、GCP、Azure），能設計可彈性擴展的數據系統。
2，借助Docker/Kubernetes提升環境一致性與資源管理效率，實現跨團隊標準化部署。
四、自動化與監控
1，設置實時監控指標（數據延遲、作業失敗率、吞吐量等），建立智能告警機制。
2，編寫腳本或工具自動修復常見錯誤場景（如丟包、數據延遲），減少人工干預。
五、跨團隊銜接
1，與數據庫開發、數據分析、研究團隊合作，保證數據管道無縫鏈接至下游應用。
2，為公司引入前沿數據技術（DeltaLake、Iceberg、Lakehouse等），持續優化數據棧性能與成本。

行業經驗要求：1-3年大數據相關經驗，具備分布式系統設計、數據管道開發與維護實戰。若兼具云平臺運維與容器化經驗，可進一步提高數據團隊的整體效率。