電商爬蟲(chóng)工程師

崗位職責(zé)
-設(shè)計(jì)與實(shí)現(xiàn)電商平臺(tái)商品數(shù)據(jù)采集系統(tǒng)（爬蟲(chóng)/接口）。
-搭建穩(wěn)定的數(shù)據(jù)存儲(chǔ)與ETL（抽取、清洗、轉(zhuǎn)換、加載）流程。
-協(xié)同算法團(tuán)隊(duì)，支撐比價(jià)與推薦模型的數(shù)據(jù)需求。
-建立數(shù)據(jù)監(jiān)控體系，保障數(shù)據(jù)質(zhì)量、時(shí)效性與完整性。
-研究并應(yīng)用新興的數(shù)據(jù)采集與處理技術(shù)（如WebRPA、LLM+Tool調(diào)用）以提升效率與智能化水平。

技能需求
-熟悉Python/Go，掌握常用爬蟲(chóng)框架（Scrapy、Playwright、Selenium等）。
-精通SQL，熟悉MySQL優(yōu)化及分布式數(shù)據(jù)庫(kù)設(shè)計(jì)。
-熟悉APP逆向、JS逆向、驗(yàn)證碼破解、圖像識(shí)別等技術(shù)
-熟悉常見(jiàn)的反爬機(jī)制并且對(duì)反爬具有一定的的措施策略且有一定研究
-熟悉分布式數(shù)據(jù)處理（Spark、Flink）及常用數(shù)據(jù)倉(cāng)庫(kù)（Hive、ClickHouse）。
-熟悉大模型相關(guān)知識(shí)以及Agent任務(wù)編排與工具調(diào)用機(jī)制。
-理解消息隊(duì)列（Kafka/RabbitMQ）與緩存系統(tǒng)（Redis）的應(yīng)用場(chǎng)景。
-有大規(guī)模數(shù)據(jù)采集、清洗、存儲(chǔ)及分析經(jīng)驗(yàn)。
-有使用LLM/AIAgent進(jìn)行自動(dòng)化信息采集、語(yǔ)義檢索或知識(shí)抽取實(shí)戰(zhàn)經(jīng)驗(yàn)者優(yōu)先。
經(jīng)驗(yàn)需求
-3年以上數(shù)據(jù)工程經(jīng)驗(yàn)，有電商/互聯(lián)網(wǎng)數(shù)據(jù)采集經(jīng)驗(yàn)優(yōu)先。
-有與算法團(tuán)隊(duì)或AI系統(tǒng)協(xié)同開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
-有從0到1搭建數(shù)據(jù)平臺(tái)或大規(guī)模數(shù)據(jù)處理經(jīng)驗(yàn)優(yōu)先。