高級Python研發(fā)工程師

崗位職責(zé)：
1.負(fù)責(zé)高并發(fā)、分布式后端系統(tǒng)的開發(fā)工作，涵蓋數(shù)據(jù)采集、數(shù)據(jù)調(diào)度、數(shù)據(jù)網(wǎng)關(guān)等模塊的設(shè)計、實現(xiàn)與維護(hù)，持續(xù)優(yōu)化數(shù)據(jù)抓取、解析、傳輸及存儲的全流程。
2.針對業(yè)務(wù)所需數(shù)據(jù)，調(diào)研可行的數(shù)據(jù)來源（網(wǎng)站/APP/程序等），設(shè)計并落地高效的數(shù)據(jù)采集方案，提供穩(wěn)定可用的服務(wù)接口。
3.研究目標(biāo)網(wǎng)站的數(shù)據(jù)結(jié)構(gòu)與反爬機(jī)制，制定有效的應(yīng)對策略和技術(shù)手段，保障數(shù)據(jù)獲取的穩(wěn)定性與連續(xù)性。
4.協(xié)同后端團(tuán)隊推進(jìn)數(shù)據(jù)在業(yè)務(wù)系統(tǒng)中的集成與應(yīng)用，確保數(shù)據(jù)鏈路高效可靠。
5.持續(xù)跟蹤前沿技術(shù)動態(tài)，探索并引入新技術(shù)以提升現(xiàn)有系統(tǒng)的性能與可維護(hù)性。

崗位要求：
1.統(tǒng)招本科及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)，具備3年以上Python開發(fā)經(jīng)驗。
2.熟悉網(wǎng)絡(luò)爬蟲的核心技術(shù)原理，掌握分布式架構(gòu)、HTTP協(xié)議、Cookie/Session管理、IP代理策略、驗證碼處理、移動端調(diào)試等相關(guān)技術(shù)細(xì)節(jié)。
3.精通至少一種主流BrowserAgent框架（如Playwright、Puppeteer、Selenium），并有成功應(yīng)用于復(fù)雜動態(tài)頁面采集的實際項目經(jīng)歷。
4.具備基于MCP（Multi-ChannelProcessing）架構(gòu)構(gòu)建分布式爬蟲服務(wù)的實踐經(jīng)驗；
5.精通至少一門主流編程語言（Python優(yōu)先，也可為Java、Go、Node.js），代碼規(guī)范良好，具備工程化開發(fā)能力，熟練使用Scrapy、BeautifulSoup、Requests、Playwright等常用框架；
6.熟悉常見分布式任務(wù)調(diào)度工具（如Celery、Airflow、Kafka），了解MySQL、PostgreSQL、MongoDB、Redis、ElasticSearch等數(shù)據(jù)庫的使用與性能調(diào)優(yōu)方法；
7.掌握前端基礎(chǔ)技術(shù)（HTML/CSS/JS）、瀏覽器調(diào)試技巧以及HTML解析技術(shù)（如XPath、lxml）；
8.有實際項目中應(yīng)對行為驗證、IP封鎖、參數(shù)加密等復(fù)雜反爬策略的經(jīng)驗；
9.具備清晰的邏輯思維能力、良好的溝通表達(dá)能力和團(tuán)隊協(xié)作意識，能獨立分析和解決復(fù)雜問題；
10.遵守爬蟲相關(guān)法律規(guī)范，具備較強(qiáng)的合規(guī)意識與數(shù)據(jù)安全保護(hù)觀念；
11.有大規(guī)模數(shù)據(jù)采集或自建采集平臺開發(fā)經(jīng)驗者優(yōu)先考慮；
12.具備云平臺（AWS、GCP、Azure、阿里云、騰訊云等）部署運維經(jīng)驗，熟悉Docker、Kubernetes技術(shù)者優(yōu)先；
13.有操作系統(tǒng)級應(yīng)用開發(fā)或手機(jī)APP數(shù)據(jù)采集經(jīng)驗者優(yōu)先。