大數(shù)據(jù)平臺工程師崗位職責8篇

第1篇 大數(shù)據(jù)平臺高級工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責公司級的通用數(shù)據(jù)平臺和分析型產(chǎn)品，服務(wù)于今日頭條全公司的數(shù)十個用戶產(chǎn)品線；

2、面向pb級超大規(guī)模數(shù)據(jù)問題，每天處理千億增量的用戶行為數(shù)據(jù)；

3、為大數(shù)據(jù)的全生命周期提供服務(wù)，覆蓋數(shù)據(jù)產(chǎn)生，傳輸，建模，統(tǒng)計分析，實驗評估，可視化的全流程；

4、構(gòu)建設(shè)計良好的數(shù)據(jù)流、數(shù)據(jù)倉庫、調(diào)度系統(tǒng)、查詢引擎，數(shù)據(jù)服務(wù)、分析系統(tǒng)、流程規(guī)范，數(shù)據(jù)工具/產(chǎn)品，降低數(shù)據(jù)的使用門檻，保證系統(tǒng)穩(wěn)定高效運行，以實現(xiàn)數(shù)據(jù)的最大價值。

任職要求：

1、熟悉多項大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對新技術(shù)有強烈的學習熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅(qū)動業(yè)務(wù)、支撐決策上的價值，有web應(yīng)用開發(fā)能力者優(yōu)先。

第2篇 大數(shù)據(jù)平臺工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、參與公司數(shù)據(jù)平臺架構(gòu)設(shè)計，負責大數(shù)據(jù)平臺和數(shù)據(jù)倉庫相關(guān)建設(shè)；2、依據(jù)公司的大數(shù)據(jù)技術(shù)發(fā)展路線，負責基于hadoop生態(tài)系統(tǒng)和mpp數(shù)據(jù)庫的大規(guī)模數(shù)據(jù)平臺的研發(fā)及數(shù)據(jù)倉庫建設(shè)，提供可靠的數(shù)據(jù)存儲和訪問能力；3、負責公司大數(shù)據(jù)平臺和數(shù)據(jù)倉庫的搭建、開發(fā)、管理、監(jiān)控和性能調(diào)優(yōu)，保證集群高效穩(wěn)定運行；4、規(guī)劃與開發(fā)離線數(shù)據(jù)平臺系統(tǒng)，處理海量數(shù)據(jù)，優(yōu)化存儲和計算架構(gòu)的性能；5、負責數(shù)據(jù)平臺技術(shù)難點攻關(guān)、技術(shù)選型評估，參與開發(fā)流程的討論與優(yōu)化；6、參與公司數(shù)據(jù)治理策略等的制訂和實施；7、負責協(xié)助產(chǎn)品經(jīng)理進行數(shù)據(jù)倉庫相關(guān)的需求分析、建模、寬表設(shè)計等工作；

8、負責系統(tǒng)核心代碼編寫、代碼審核和重構(gòu)，指導和培訓數(shù)據(jù)工程師、不斷進行系統(tǒng)優(yōu)化；

任職要求：

1、本科以上學歷，5年以上大數(shù)據(jù)研發(fā)經(jīng)驗，帶領(lǐng)過10人以上的大數(shù)據(jù)團隊； 2、有大型分布式系統(tǒng)設(shè)計經(jīng)驗，負責過海量數(shù)據(jù)平臺上高可用、高性能分布式系統(tǒng)的架構(gòu)設(shè)計；3、熟悉大數(shù)據(jù)開發(fā)框架，熟悉hadoop，hbase，spark等及業(yè)界主流流處理平臺如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等數(shù)據(jù)倉庫技術(shù)，并有廣泛的實踐經(jīng)驗，具備維護和解決生產(chǎn)問題的能力；5、熟悉掌握分布式存儲和nosql數(shù)據(jù)庫技術(shù)（如monogodb、redis等），有實際生產(chǎn)項目應(yīng)用經(jīng)驗；6、熟練掌握java，python，scalar中的至少一種編程語言，掌握常見的數(shù)據(jù)結(jié)構(gòu)，算法，了解軟件工程、敏捷開發(fā)等知識，熟悉常用設(shè)計模式; 7、理解soa，微服務(wù)，中間件等paas相關(guān)的關(guān)鍵理念與技術(shù)，并對其有廣泛的實踐與應(yīng)用經(jīng)驗，樂于。8、有民航、電子商務(wù)、風控等大數(shù)據(jù)設(shè)計和從業(yè)經(jīng)驗者優(yōu)先。

第3篇 微信支付大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

崗位特色：

基于海量的微信支付用戶、商戶、交易和行為數(shù)據(jù)，使用業(yè)界開源的主流技術(shù)棧以及我們自研的大數(shù)據(jù)技術(shù)相結(jié)合，構(gòu)建金融級的大數(shù)據(jù)平臺，提供金融級數(shù)據(jù)安全保障和質(zhì)量保障，為數(shù)據(jù)開發(fā)者提供工業(yè)化的數(shù)據(jù)平臺服務(wù)，建立元數(shù)據(jù)管理、血緣關(guān)系、計算任務(wù)和計算資源的動態(tài)管控、全方位的數(shù)據(jù)安全風險控制，為數(shù)據(jù)分析、智慧推薦、金融風控等業(yè)務(wù)提供數(shù)據(jù)平臺支撐；

工作職責：

負責微信支付大數(shù)據(jù)基礎(chǔ)平臺相關(guān)開發(fā)工作；

負責大數(shù)據(jù)采集、計算、分析處理相關(guān)開發(fā)工作；

負責大數(shù)據(jù)治理相關(guān)開發(fā)工作，提供一站式的數(shù)據(jù)平臺及工具支持。

任職要求：

本科及以上學歷，計算機相關(guān)專業(yè)，3年及以上開發(fā)經(jīng)驗；

熟悉java、php、shell、python等至少三種開發(fā)語言；

有分布式系統(tǒng)、大數(shù)據(jù)服務(wù)、數(shù)據(jù)分析方面的開發(fā)經(jīng)驗者優(yōu)先；

熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平臺和組件，有相關(guān)項目經(jīng)驗優(yōu)先；

良好的溝通表達能力，執(zhí)行力力強，對待工作認真嚴謹、高度負責。

第4篇 大數(shù)據(jù)平臺開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

負責spark、hadoop計算平臺的設(shè)計和開發(fā)工作，構(gòu)建高效穩(wěn)定的計算平臺，為業(yè)務(wù)提供大數(shù)據(jù)分析所需的海量計算服務(wù)；

負責數(shù)據(jù)倉庫、以及機器學習平臺的建設(shè)。

任職要求：

計算機相關(guān)專業(yè)，本科及以上學歷，2年以上大數(shù)據(jù)平臺開發(fā)、運維經(jīng)驗；

對spark、hadoop平臺計算原理有深刻理解，能夠閱讀spark、hadoop源碼；對社區(qū)有源碼貢獻者優(yōu)先；

熟悉spark流計算框架或其他開源實時計算框架；

有elasticsearch集群運維、開發(fā)經(jīng)驗者優(yōu)先；

有數(shù)據(jù)倉庫建設(shè)經(jīng)驗者優(yōu)先；

數(shù)據(jù)大數(shù)據(jù)算法經(jīng)驗、機器學習平臺建設(shè)經(jīng)驗者優(yōu)先；

精通java、熟練掌握mapreduce原理及數(shù)據(jù)分析相關(guān)的二次開發(fā)；

對新技術(shù)充滿熱情，具有良好的學習能力、團隊協(xié)作能力和溝通能力；

能承受較大的工作壓力。

第5篇 大數(shù)據(jù)平臺高級/資深工程師/專家（基礎(chǔ)架構(gòu)方向）職位描述與崗位職責任職要求

職位描述：

崗位職責：

1、參與小鵬汽車技術(shù)中臺的大數(shù)據(jù)云平臺產(chǎn)品建設(shè)，包括：實時計算處理平臺、離線計算處理平臺、調(diào)用鏈分析監(jiān)控、日志處理平臺；

2、分析系統(tǒng)瓶頸，處理、協(xié)調(diào)和解決基礎(chǔ)框架中出現(xiàn)的技術(shù)問題；

3、大數(shù)據(jù)新技術(shù)研究和應(yīng)用，并推動適合技術(shù)應(yīng)用于生產(chǎn)；

任職要求：

1、計算機相關(guān)專業(yè)，本科或以上學歷，五年以上開發(fā)工作經(jīng)驗，有基礎(chǔ)架構(gòu)開發(fā)經(jīng)驗優(yōu)先；

2、熟練java、python服務(wù)端編程，有良好的編碼習慣；

3、深入理解mapreduce，熟練使用storm/flink、hadoop、spark，并閱讀部分源碼；

4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然語言處理、信息檢索、機器學習、web挖掘、搜索引擎、推薦引擎等相關(guān)經(jīng)驗優(yōu)先；

6、熟悉docker容器及容器化技術(shù)，有kubernetes實戰(zhàn)經(jīng)驗者優(yōu)先；

7、對新技術(shù)有執(zhí)著追求，熱愛編程。善于抽象、總結(jié)、思考，能及時關(guān)注和學習業(yè)界最新技術(shù)；

8、有較強的自學能力和鉆研精神，具有良好的溝通能力和團隊合作能力，綜合能力強。

第6篇 大數(shù)據(jù)平臺高級工程師-平臺產(chǎn)品方向職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責公司級的統(tǒng)一數(shù)據(jù)平臺和分析型產(chǎn)品的研發(fā)，服務(wù)于今日頭條全公司的數(shù)十個用戶產(chǎn)品線；

2、設(shè)計和實現(xiàn)web后端和關(guān)鍵數(shù)據(jù)服務(wù)，用數(shù)據(jù)?量產(chǎn)品并驅(qū)動產(chǎn)品演進。

任職要求：

1、熟悉互聯(lián)網(wǎng)產(chǎn)品和服務(wù)的開發(fā)過程，熟悉后端技術(shù)架構(gòu)，具備良好的系統(tǒng)設(shè)計能力；

2、扎實的計算機基礎(chǔ)，對技術(shù)有熱情，愿意不斷嘗試新技術(shù)和業(yè)務(wù)挑戰(zhàn)；

3、熟悉python和go語言優(yōu)先；

4、有大數(shù)據(jù)集、分布式計算工具(hadoop，spark，hive，storm)等應(yīng)用開發(fā)經(jīng)驗優(yōu)先；

5、有產(chǎn)品sense，兼具pm技能者優(yōu)先。

第7篇 大數(shù)據(jù)平臺(高級)工程師-實驗評估方向職位描述與崗位職責任職要求

職位描述：

工作職責：

1、研發(fā)業(yè)界領(lǐng)先的灰度實驗/abtest系統(tǒng)，面向頭條全公司的所有產(chǎn)品線；

2、建立通用的用戶行為指標體系，探索性發(fā)掘新指標，研究業(yè)界領(lǐng)先的個性化評估方法；

3、從pb級超大規(guī)模的用戶行為數(shù)據(jù)中挖掘信息，并設(shè)計實驗驗證假設(shè)，為策略/產(chǎn)品改進提供支持。

任職要求：

1、熟悉多項大數(shù)據(jù)處理/分析相關(guān)的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、強悍的編碼能力，生產(chǎn)環(huán)境快速 trouble-shooting能力，對新技術(shù)有強烈的學習熱情；

3、優(yōu)秀的理解溝通能力，能快速理解業(yè)務(wù)背景，對數(shù)據(jù)敏感，崇尚數(shù)據(jù)說話，深信數(shù)據(jù)在驅(qū)動業(yè)務(wù)、支撐決策上的價值，有web應(yīng)用開發(fā)能力者優(yōu)先。

第8篇 大數(shù)據(jù)平臺高級開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、負責大數(shù)據(jù)開源組件的調(diào)研

2、負責大數(shù)據(jù)平臺自研平臺系統(tǒng)及功能模塊設(shè)計與開發(fā)

3、配合架構(gòu)師及測試按時完成開發(fā)，保證產(chǎn)品正常發(fā)布與迭代

任職要求：

1、本科以上學歷，計算機相關(guān)專業(yè)

2、2年以上大數(shù)據(jù)平臺開發(fā)經(jīng)驗

3、精通java，熟悉linu_系統(tǒng)，深入理解并使用主流技術(shù)框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術(shù)棧，具備豐富的分布式系統(tǒng)的研發(fā)經(jīng)驗

4、熟悉hadoop生態(tài)圈其他系統(tǒng)，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟練掌握各類數(shù)據(jù)結(jié)構(gòu)與算法，具有較強的編碼能力

6、具有良好的團隊合作精神和表達溝通能力

7、有數(shù)據(jù)中臺，數(shù)據(jù)服務(wù)平臺開發(fā)經(jīng)驗，熟悉hadoop生態(tài)圈組件者優(yōu)先