- 目錄
-
第1篇 大數(shù)據(jù)開發(fā)工程師（杭州）職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1.參與大數(shù)據(jù)精準(zhǔn)學(xué)平臺(tái)設(shè)計(jì)與研發(fā)，在大數(shù)據(jù)采集、存儲(chǔ)、分析及應(yīng)用領(lǐng)域都會(huì)有所涉及。
2.參與需求分析、系統(tǒng)架構(gòu)設(shè)計(jì)、并完成需求設(shè)計(jì)相應(yīng)文檔的編寫。
3.參與核心代碼實(shí)現(xiàn)、系統(tǒng)性能優(yōu)化。
4.保質(zhì)保量地完成項(xiàng)目組分配的開發(fā)任務(wù)。
5.協(xié)助項(xiàng)目經(jīng)理進(jìn)行技術(shù)支持工作，共同解決產(chǎn)品研發(fā)過(guò)程遇到的技術(shù)難題。
任職要求：
1. 具備3年及以上大數(shù)據(jù)系統(tǒng)開發(fā)經(jīng)驗(yàn)，計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷；
2. 有實(shí)時(shí)流處理經(jīng)驗(yàn)，掌握f(shuō)link、storm等實(shí)時(shí)處理框架；
3. 熟悉并會(huì)使用spark mllib、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等相關(guān)技術(shù)和算法；
4. 具有hadoop/spark，以及kafka、flume、hbase、hive、zookeeper等大數(shù)據(jù)生態(tài)圈實(shí)際開發(fā)經(jīng)驗(yàn)。深入了解hadoop/spark生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場(chǎng)景；
5. 具備較強(qiáng)的數(shù)據(jù)分析，問(wèn)題分析，邏輯思維能力，良好的溝通，團(tuán)隊(duì)協(xié)作能力。
第2篇 java大數(shù)據(jù)開發(fā)高級(jí)工程師崗位職責(zé)職位要求
職責(zé)描述：
崗位要求:
1、計(jì)算機(jī)或相關(guān)專業(yè)本科以上學(xué)歷，3年以上專業(yè)java開發(fā)經(jīng)驗(yàn)，有過(guò)大型項(xiàng)目經(jīng)驗(yàn)優(yōu)先；
2、精通 jdbc、jsp / ibatis /spring/ struts2等java主流技術(shù)；
3、熟悉web容器及主流開源框架，熟悉http的基本工作原理；
4、熟悉io、多線程、集合類等基礎(chǔ)框架，熟悉緩存、消息、搜索等機(jī)制；
5、熟悉linu_操作系統(tǒng)，熟悉mysql數(shù)據(jù)庫(kù)；，精通sql語(yǔ)言；
6、有大型項(xiàng)目架構(gòu)設(shè)計(jì)開發(fā)和數(shù)據(jù)庫(kù)優(yōu)化經(jīng)驗(yàn)優(yōu)先；
7、具有良好的團(tuán)隊(duì)協(xié)作精神，較強(qiáng)的溝通能力，具備良好的問(wèn)題定位分析能力和新興技術(shù)學(xué)習(xí)能力。
崗位職責(zé)：
1.負(fù)責(zé)研發(fā)公司自主呼叫中心產(chǎn)品；
2.協(xié)助實(shí)施部門定位跟蹤產(chǎn)品問(wèn)題；
3.客戶化項(xiàng)目定制開發(fā)
崗位要求：
學(xué)歷要求：大專
語(yǔ)言要求：不限
年齡要求：不限
工作年限：3-5年
第3篇 高級(jí)數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1、承擔(dān)現(xiàn)有數(shù)據(jù)平臺(tái)的開發(fā)和優(yōu)化工作
2、根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)模型的調(diào)研、設(shè)計(jì)、開發(fā)及驗(yàn)證工作，并持續(xù)進(jìn)行模型優(yōu)化
3、負(fù)責(zé)數(shù)據(jù)模型架構(gòu)的構(gòu)建，建立數(shù)據(jù)抽取、清洗、校驗(yàn)等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型
4、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)搭建。
職位要求：
1、3-5年以上的相關(guān)工作經(jīng)驗(yàn)
2、熟悉分布式計(jì)算平臺(tái)
3、有日志采集，數(shù)據(jù)處理，數(shù)據(jù)倉(cāng)庫(kù)建模，etl等經(jīng)驗(yàn)
4、熟悉java、python、spark開發(fā)
5、熟練掌握l(shuí)inu_ shell及sql語(yǔ)言
6、有獨(dú)立負(fù)責(zé)數(shù)據(jù)某一模塊的實(shí)際項(xiàng)目經(jīng)驗(yàn)
7、有過(guò)用戶畫像等方面開發(fā)經(jīng)驗(yàn)者優(yōu)先
8、有實(shí)時(shí)處理開發(fā)經(jīng)驗(yàn)者優(yōu)先
第4篇 健康科技中心-高級(jí)大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職位描述：
1. 基于hadoop生態(tài)系統(tǒng)進(jìn)行大數(shù)據(jù)平臺(tái)建設(shè)；
2. 負(fù)責(zé)各業(yè)務(wù)條線相關(guān)指標(biāo)數(shù)據(jù)的數(shù)據(jù)建模
3. 負(fù)責(zé)基于sqoop，hive、spark、sparksql、mysql進(jìn)行大數(shù)據(jù)開發(fā)
4. 負(fù)責(zé)離線運(yùn)算、實(shí)時(shí)計(jì)算平臺(tái)項(xiàng)目的設(shè)計(jì)、開發(fā)及運(yùn)維
5. 負(fù)責(zé)對(duì)數(shù)據(jù)平臺(tái)進(jìn)行性能調(diào)優(yōu)
任職要求：
1.統(tǒng)招本科或以上學(xué)歷，6年以上大數(shù)據(jù)開發(fā)工作經(jīng)驗(yàn)；
2.熟練掌握shell、python開發(fā)語(yǔ)言；
3.熟練掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相關(guān)的調(diào)優(yōu)、運(yùn)維、開發(fā)經(jīng)驗(yàn)；
4.熟練掌握mysql數(shù)據(jù)庫(kù)集群；
5. 精通主流etl開發(fā)工具，如：informatica、data services、kettle;精通主流調(diào)度工具，如：azkaban， oozie；
6.有數(shù)據(jù)倉(cāng)庫(kù)、分析系統(tǒng)、用戶畫像等產(chǎn)品開發(fā)經(jīng)驗(yàn)者優(yōu)先；
7.有較強(qiáng)的數(shù)據(jù)和業(yè)務(wù)結(jié)合能力；
8.有醫(yī)療或者大健康背景優(yōu)先；
9.有較強(qiáng)的獨(dú)立、主動(dòng)的學(xué)習(xí)能力，良好的溝通表達(dá)能力。
第5篇 大數(shù)據(jù)開發(fā)經(jīng)理職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1、參與大數(shù)據(jù)平臺(tái)、工具平臺(tái)的架構(gòu)、設(shè)計(jì)以及實(shí)現(xiàn)；
2、參與對(duì)項(xiàng)目的開發(fā)需求進(jìn)行評(píng)審，制定項(xiàng)目的設(shè)計(jì)文檔、開發(fā)計(jì)劃文檔等；
3、負(fù)責(zé)公司各類數(shù)據(jù)產(chǎn)品數(shù)據(jù)抽取、清洗，以及數(shù)據(jù)算法與存儲(chǔ)的設(shè)計(jì)和優(yōu)化；
4、優(yōu)化大數(shù)據(jù)平臺(tái)的性能，提高穩(wěn)定性；
5、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的組件升級(jí)與參數(shù)優(yōu)化。
崗位要求：
1、本科及以上學(xué)歷，3年以上相關(guān)技術(shù)背景，具備扎實(shí)的數(shù)據(jù)結(jié)構(gòu)和算法基礎(chǔ)，扎實(shí)的工程實(shí)現(xiàn)能力；
2、熟悉hadoop大數(shù)據(jù)相關(guān)技術(shù)體系，包括但不限于hbase、hdfs、storm、kafka、spark、hive、flume等；
3、精通java或python，能熟練編寫規(guī)范代碼，有較強(qiáng)的數(shù)據(jù)庫(kù)及sql開發(fā)調(diào)優(yōu)能力；
4、熟悉自然語(yǔ)言處理/機(jī)器學(xué)習(xí)/數(shù)據(jù)挖掘領(lǐng)域，熟悉常用的機(jī)器學(xué)習(xí)算法優(yōu)先考慮；
5、有大規(guī)模數(shù)據(jù)收集，日志處理經(jīng)驗(yàn)，有電商數(shù)據(jù)分析背景優(yōu)先考慮；
6、深入研究過(guò)大數(shù)據(jù)框架的運(yùn)行機(jī)制、實(shí)現(xiàn)原理、源碼者優(yōu)先考慮。
第6篇 大數(shù)據(jù)開發(fā)工程師/架構(gòu)師職位描述與崗位職責(zé)任職要求
職位描述：
1、8年以上后端開發(fā)經(jīng)驗(yàn)，有大數(shù)據(jù)處理經(jīng)驗(yàn)；有實(shí)時(shí)處理工作經(jīng)歷并有一定解決方案者優(yōu)先；
2、熟悉大數(shù)據(jù)開源技術(shù)，包含（不限于）hadoop/spark/storm/hive/hbase/impala /flume/kafka/solr/es分布式框架/計(jì)算/存儲(chǔ)/檢索等相關(guān)技術(shù)，并有一定的hadoop生態(tài)系統(tǒng)運(yùn)維經(jīng)驗(yàn)；
3、至少掌握java/scala/python其中一門開發(fā)語(yǔ)言；
4、掌握sql，sparksql進(jìn)行數(shù)據(jù)開發(fā)；較好的sql性能調(diào)優(yōu)經(jīng)驗(yàn)；
5、優(yōu)秀的分析、解決問(wèn)題能力，充分的數(shù)據(jù)敏感度；有一定的高性能支撐經(jīng)驗(yàn)和故障排除能力；
6、具備強(qiáng)烈的工作責(zé)任感，喜歡鉆研，態(tài)度樂(lè)觀，團(tuán)隊(duì)意識(shí)強(qiáng)。
第7篇 大數(shù)據(jù)開發(fā)架構(gòu)師職位描述與崗位職責(zé)任職要求
職位描述：
大數(shù)據(jù)架構(gòu)師
崗位描述：
1. 負(fù)責(zé)公司大數(shù)據(jù)基礎(chǔ)框架的整體架構(gòu)設(shè)計(jì)，結(jié)合公司實(shí)際業(yè)務(wù)情況進(jìn)行技術(shù)選型；
2. 負(fù)責(zé)數(shù)據(jù)存儲(chǔ)、計(jì)算平臺(tái)的整體評(píng)估、設(shè)計(jì)以及核心功能模塊的開發(fā)；
3. 協(xié)助團(tuán)隊(duì)解決開發(fā)過(guò)程中的技術(shù)難題，負(fù)責(zé)新技術(shù)的調(diào)研，并能在團(tuán)隊(duì)內(nèi)推廣應(yīng)用；
崗位要求：
1. 計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷，5年以上工作經(jīng)驗(yàn)，3年以上大數(shù)據(jù)相關(guān)經(jīng)驗(yàn)；
2. 熟悉常用的數(shù)據(jù)結(jié)構(gòu)、算法以及數(shù)據(jù)建模理論；
3. 有過(guò)支撐每日億級(jí)別數(shù)據(jù)的大數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn)，了解數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論、了解數(shù)據(jù)倉(cāng)庫(kù)體系，并支撐過(guò)實(shí)際業(yè)務(wù)場(chǎng)景；
4. 具備較強(qiáng)的編碼能力，掌握 java/scala/python 開發(fā)語(yǔ)言之一，熟練使用 sql 進(jìn)行數(shù)據(jù)訪問(wèn)；
5. 精通 hadoop 生態(tài)系統(tǒng)基礎(chǔ)設(shè)施，包括flume、kafka、hbase、hive、spark、storm等；
6. 有團(tuán)隊(duì)管理經(jīng)驗(yàn)者優(yōu)先；
第8篇 后端數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1. 配合產(chǎn)品經(jīng)理，參與數(shù)據(jù)平臺(tái)發(fā)展各階段產(chǎn)品需求分析和功能設(shè)計(jì)；
2. 基于確定的產(chǎn)品功能需求，參與平臺(tái)后端系統(tǒng)架構(gòu)設(shè)計(jì)、接口定義實(shí)現(xiàn)及測(cè)試、構(gòu)建部署和運(yùn)維等各階段工作；
3. 根據(jù)產(chǎn)品或技術(shù)實(shí)現(xiàn)發(fā)展需要，按需進(jìn)行一些新技術(shù)的研究，并評(píng)估將其引入現(xiàn)有平臺(tái)實(shí)現(xiàn)的可行性。
任職要求：
1. 本科及以上學(xué)歷，至少3年及以上的實(shí)際開發(fā)經(jīng)驗(yàn)；
2. 熟練掌握c/c++/python/java/go/javascript其中至少2種及以上程序設(shè)計(jì)語(yǔ)言，并且自認(rèn)為具有良好的編程素養(yǎng)；
3. 熟練掌握常用的數(shù)據(jù)結(jié)構(gòu)及算法；
4. 熟悉linu_系統(tǒng)開發(fā)，熟悉網(wǎng)絡(luò)編程、文件系統(tǒng)，有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)；
5. 應(yīng)具有熟練的技術(shù)領(lǐng)域相關(guān)的英文文獻(xiàn)閱讀能力；
6. 有良好的溝通能力和團(tuán)隊(duì)合作能力，能夠自主驅(qū)動(dòng)，具備良好的問(wèn)題定位分析能力。
優(yōu)先考慮：
1. 熟悉containerization和virtual machine平臺(tái)和相關(guān)技術(shù)，熟悉docker、kubernetes和kvm等，并具有相關(guān)的實(shí)際運(yùn)用經(jīng)驗(yàn)；
2. 熟悉當(dāng)前主流的云計(jì)算平臺(tái)，如應(yīng)熟悉aws、azure和阿里云其中至少一種平臺(tái)的iaas，并具有相關(guān)的項(xiàng)目經(jīng)驗(yàn)；
3. 有開源項(xiàng)目實(shí)際參與經(jīng)驗(yàn)。
第9篇 數(shù)據(jù)開發(fā)崗位職責(zé)數(shù)據(jù)開發(fā)職責(zé)任職要求
數(shù)據(jù)開發(fā)崗位職責(zé)
職責(zé)描述:
1、建立數(shù)據(jù)質(zhì)量控制體系，對(duì)公司各項(xiàng)數(shù)據(jù)進(jìn)行檢驗(yàn)，保證數(shù)據(jù)的準(zhǔn)確性。
2、獨(dú)立完成數(shù)據(jù)開發(fā)相關(guān)工作，例如爬蟲、指標(biāo)庫(kù)編寫等。
3、承擔(dān)其他數(shù)據(jù)工作，例如數(shù)據(jù)采集、數(shù)據(jù)處理、指標(biāo)數(shù)理、指標(biāo)提取等。
任職要求:
1、3年以上相關(guān)工作經(jīng)驗(yàn)，計(jì)算機(jī)及相關(guān)專業(yè)本科以上學(xué)歷，有證券、基金等金融行業(yè)工作背景優(yōu)先。
2、編程基本功扎實(shí)，精通c/c++/java/go/c#任意一種語(yǔ)言，熟悉python/shell等任意一門腳本語(yǔ)言。
3、精通mysql、oracle等關(guān)系數(shù)據(jù)庫(kù);熟悉mongodb、redis等非關(guān)系型數(shù)據(jù)庫(kù)。
4、具有數(shù)據(jù)敏感性，良好的數(shù)據(jù)分析與報(bào)告能力。
5、積極主動(dòng)，責(zé)任心強(qiáng)，具有良好的對(duì)外溝通和團(tuán)隊(duì)協(xié)作能力。
第10篇 大數(shù)據(jù)開發(fā)主管職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
負(fù)責(zé)大數(shù)據(jù)平臺(tái)項(xiàng)目架構(gòu)設(shè)計(jì)；
負(fù)責(zé)與客戶進(jìn)行具體業(yè)務(wù)需求溝通，引導(dǎo)客戶需求并確認(rèn)；
負(fù)責(zé)需求分析以及平臺(tái)設(shè)計(jì)、數(shù)據(jù)模型設(shè)計(jì)工作，并輸出相關(guān)文檔，與第三方進(jìn)行溝通，并確認(rèn)項(xiàng)目關(guān)鍵節(jié)點(diǎn)進(jìn)度。
任職要求：
國(guó)家正規(guī)院校統(tǒng)招本科以上學(xué)歷，有5年以上工作經(jīng)驗(yàn)，至少1年以上大數(shù)據(jù)架構(gòu)師工作經(jīng)驗(yàn)、熟悉大數(shù)據(jù)平臺(tái)項(xiàng)目的操作流程；
熟練掌握python、hadoop、spark、kafka等工具；
較好的溝通理解能力和主動(dòng)性。
第11篇 java大數(shù)據(jù)開發(fā)職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1. 參與大數(shù)據(jù)平臺(tái)和大數(shù)據(jù)處理框架的架構(gòu)規(guī)劃設(shè)計(jì)；
2. 參與數(shù)據(jù)治理工作，提升數(shù)據(jù)易用性及數(shù)據(jù)質(zhì)量；
3. 理解并合理抽象業(yè)務(wù)需求，發(fā)揮數(shù)據(jù)價(jià)值，主動(dòng)思考不斷優(yōu)化，與業(yè)務(wù)團(tuán)隊(duì)緊密合作；
4. 配合大數(shù)據(jù)負(fù)責(zé)人完成hadoop、spark等集群的管理、優(yōu)化和維護(hù)，保證集群規(guī)模持續(xù)、穩(wěn)定。
任職要求：
1. 兩年以上相關(guān)工作經(jīng)驗(yàn)；
2. 熟練掌握java語(yǔ)言，熟練使用linu_，強(qiáng)悍的編碼和處理問(wèn)題能力；
3. 熟悉大數(shù)據(jù)開源棧spark/hadoop、hive、hbase、elasticsearch、kafka、redis， strom/spark-streaming/flink，有至少tb以上級(jí)大數(shù)據(jù)處理經(jīng)驗(yàn). 有sparkstreaming的實(shí)時(shí)統(tǒng)計(jì)開發(fā)經(jīng)驗(yàn)優(yōu)先；
4. 對(duì)數(shù)據(jù)敏感，認(rèn)真細(xì)致，善于從數(shù)據(jù)中發(fā)現(xiàn)疑點(diǎn)；
5. 善于溝通，具備優(yōu)秀的技術(shù)與業(yè)務(wù)結(jié)合能力；
6. 學(xué)習(xí)能力強(qiáng)，喜歡研究開源新技術(shù)，有團(tuán)隊(duì)觀念，具備獨(dú)立解決問(wèn)題的能力
第12篇 dmp數(shù)據(jù)開發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、支撐dmp人群包計(jì)算的業(yè)務(wù)需求，參與服務(wù)端代碼開發(fā)；
2、支撐dmp標(biāo)簽的技術(shù)升級(jí)，參與數(shù)據(jù)產(chǎn)出流程性能優(yōu)化；
3、支持dmp大規(guī)模數(shù)據(jù)的計(jì)算和分析。
任職要求：
1、本科及以上學(xué)歷，計(jì)算機(jī)、通信等相關(guān)專業(yè)，1-2年相關(guān)工作經(jīng)驗(yàn)；
2、有良好的數(shù)據(jù)結(jié)構(gòu)、算法基礎(chǔ)和扎實(shí)的編程能力；
3、熟悉python/java/c++/scala其中任意一門或者多門語(yǔ)言;
4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技術(shù)；
5、具有良好的團(tuán)隊(duì)溝通意識(shí)和快速學(xué)習(xí)能力;
6、加分項(xiàng): 熟悉大數(shù)據(jù)處理或者dmp業(yè)務(wù).
第13篇 大數(shù)據(jù)開發(fā)leader職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1、負(fù)責(zé)整體大數(shù)據(jù)平臺(tái)體系的建設(shè)工作。
2、負(fù)責(zé)帶領(lǐng)團(tuán)隊(duì)完成基于大數(shù)據(jù)平臺(tái)的業(yè)務(wù)項(xiàng)目的開發(fā)、實(shí)施和維護(hù)工作。
3、負(fù)責(zé)解決大數(shù)據(jù)平臺(tái)建設(shè)過(guò)程中的技術(shù)難點(diǎn)和性能調(diào)優(yōu)工作。
4、負(fù)責(zé)指導(dǎo)和培訓(xùn)團(tuán)隊(duì)成員，共同提升大數(shù)據(jù)技能。
任職要求：
1、計(jì)算機(jī)相關(guān)專業(yè)，至少5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)；
2、熟悉大數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)，分布式架構(gòu)技術(shù)理論，具有大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)戰(zhàn)經(jīng)驗(yàn)，，有從無(wú)到有建設(shè)大數(shù)據(jù)平臺(tái)經(jīng)驗(yàn)者優(yōu)先；
3、熟悉大數(shù)據(jù)生態(tài)圈技術(shù)，不限于hadoop、hdfs、hive、hbase、spark、storm、flume、sqoop、kylin等，閱讀過(guò)底層源碼者優(yōu)先；
4、熟悉至少一種編程語(yǔ)言，python，java，scala等，精通sql；
5、2年以上技術(shù)團(tuán)隊(duì)管理經(jīng)驗(yàn)，有阿里，百度，騰訊，滴滴，美團(tuán)等互聯(lián)網(wǎng)大數(shù)據(jù)工作經(jīng)驗(yàn)者優(yōu)先；
6、邏輯思維清晰，具備高度的責(zé)任感和良好的溝通協(xié)調(diào)能力，遇事積極主動(dòng)。
第14篇 高級(jí)大數(shù)據(jù)開發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1. 基于公司大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)開發(fā)，包括數(shù)據(jù)的采集，清洗，預(yù)處理，存儲(chǔ)，建模，分析挖掘等
2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù)，提供數(shù)據(jù)支持
3. 參與公司大數(shù)據(jù)產(chǎn)品的運(yùn)維和監(jiān)控，保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性
任職要求：
1. 具備本科以上學(xué)歷， 計(jì)算機(jī)， 軟件以及相關(guān)專業(yè)， 5年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)維度建模， 并能根據(jù)客戶需求進(jìn)行數(shù)據(jù)開發(fā)， 向模型更新數(shù)據(jù)
3. 使用過(guò)至少一種以上的etl工具
4. 熟練掌握java， 對(duì)hadoop相關(guān)的技術(shù)和組件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解
5. 熟練掌握shell或者python中的一種
6. 具備spark開發(fā)經(jīng)驗(yàn)者優(yōu)先
7. 具備實(shí)時(shí)計(jì)算(kafka+storm/spark streaming) 經(jīng)驗(yàn)者優(yōu)先
8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗(yàn)者優(yōu)先
第15篇 大數(shù)據(jù)開發(fā)工程師（駐場(chǎng)開發(fā)）職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
（1）根據(jù)業(yè)務(wù)進(jìn)行數(shù)據(jù)需求的調(diào)研、設(shè)計(jì)、開發(fā)及驗(yàn)證工作，并持續(xù)進(jìn)行數(shù)據(jù)業(yè)務(wù)的優(yōu)化；
（2）負(fù)責(zé)大數(shù)據(jù)整體設(shè)計(jì)和開發(fā)工作，包括數(shù)據(jù)接入、清洗、計(jì)算、校驗(yàn)等數(shù)據(jù)加工流程，并沉淀文檔；
（3）持續(xù)對(duì)系統(tǒng)的技術(shù)架構(gòu)進(jìn)行改進(jìn)和優(yōu)化，提升海量數(shù)據(jù)的查詢性能和用戶體驗(yàn)。
（4）此崗位需駐場(chǎng)開發(fā)半年左右（地點(diǎn)：新疆）
任職資格：
（1）統(tǒng)招本科或以上學(xué)歷，計(jì)算機(jī)、數(shù)學(xué)等相關(guān)專業(yè)，工作至少3年以上；
（2）熟悉java/scala開發(fā)，有腳本語(yǔ)言（shell，python)開發(fā)經(jīng)驗(yàn)者優(yōu)先；
（3）至少熟悉一種大數(shù)據(jù)處理?xiàng)＜夹g(shù)，如hadoop、spark; 熟悉流計(jì)算應(yīng)用開發(fā)，如spark streaming， flink;熟練掌握大數(shù)據(jù)生態(tài)各個(gè)工具的原理及使用，如hive， sqoop， kafka等
（4）掌握hbase、redis、elastic search等開源大數(shù)據(jù)存儲(chǔ)技術(shù)，并能結(jié)合不同的業(yè)務(wù)場(chǎng)景深入使用；
（5）熟悉storm，spark streaming，flink，beam至少一種
（6）熟悉kafka，redis，es等相關(guān)組件
（7）對(duì)解決具有挑戰(zhàn)性的數(shù)據(jù)問(wèn)題充滿激情，具有良好的分析問(wèn)題和解決問(wèn)題的能力，能夠勝任部分?jǐn)?shù)據(jù)分析，挖掘，建模工作。
