- 職位
開發
- 工作地點
西安
- 招聘人數
4
- 發布時間
2026-05-29 15:21:14
崗位職責
1.負責互聯網公開數據的采集、清洗、結構化與入庫，支撐AI應用、模型訓練、知識庫和數據分析業務。設計并開發高穩定性的爬蟲系統，包括網頁解析、動態頁面采集、反爬策略應對、任務調度、代理管理和異常監控。
2.針對不同網站結構，構建可復用的數據抽取規則和自動化解析流程，提升采集效率和數據質量。
3.參與數據治理工作，包括去重、字段標準化、質量校驗、數據溯源和更新機制設計。
4.與算法、產品和業務團隊協作，理解AI場景下的數據需求，輸出可用于RAG、訓練、評測或業務分析的數據集。
5.跟蹤大模型、Agent、智能解析、網頁理解等技術，探索AI輔助爬蟲和自動化數據采集方案。
6.遵守數據合規要求，確保采集范圍、使用方式和存儲流程符合相關法律法規及網站規則。
任職資格
1.統招本科及以上學歷，3-5年級以上工作經驗，計算機、軟件工程、數據科學等相關專業優先。
2.熟練掌握 Python,熟悉Scrapy、Requests、BeautifulSoup、Playwright、 Selenium等爬蟲和瀏覽器自動化工具。
3.熟悉HTML、CSS、JavaScript、網絡協議、瀏覽器渲染機制,能獨立分析網頁結構和接口請求。
4.熟悉常見反爬機制及應對思路，如驗證碼、動態渲染、簽名參數、頻控、IP限制、登錄態管理等。
5孰采Mv.SOIFlasticsparchRedis中至少一種數存儲或檢系統PnstareSOlMonaoDB
聯系方式
18317038973