資深爬蟲工程師職位要求
1、計算機相關(guān)專業(yè)，本科及以上學歷，3年以上爬蟲相關(guān)工作經(jīng)驗；
2、對爬蟲編程有強烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；
3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解復雜驗證碼的經(jīng)驗；
4、有通用分布式爬蟲系統(tǒng)架構(gòu)和開發(fā)經(jīng)驗，能快速部署新的爬蟲應(yīng)用；
5、已有2年以上網(wǎng)絡(luò)爬蟲或搜索引擎工作經(jīng)驗，參與過大規(guī)模數(shù)據(jù)爬蟲優(yōu)先考慮；
6、有APP安全、逆向等領(lǐng)域的經(jīng)驗；
7、具有良好的溝通、團隊協(xié)作、計劃能力， 有過1-2人的團隊管理經(jīng)驗。
資深爬蟲工程師崗位職責
1、建設(shè)完善分布式爬蟲系統(tǒng)；
2、建立通用的爬蟲框架，能夠快速適應(yīng)新的爬蟲需求；
3、快速完成對目標資源的數(shù)據(jù)抓取、處理。
