崗位職責是什么
數據開發(fā)，是企業(yè)信息化建設中的關鍵角色，主要負責構建、維護和優(yōu)化數據處理系統(tǒng)，以支持業(yè)務分析、決策制定和流程自動化。這個崗位的核心任務是確保數據的準確、高效和安全流通，為企業(yè)的數據驅動戰(zhàn)略提供堅實的技術基礎。
崗位職責要求
1. 熟練掌握sql、python、java等編程語言，具備扎實的數據處理和數據庫管理技能。
2. 深入理解大數據技術棧，如hadoop、spark、hive等，以及云計算平臺如aws、azure或google cloud。
3. 具備數據倉庫設計和etl（提取、轉換、加載）流程構建經驗。
4. 熟悉數據建模方法，能夠設計和實施高效的數據架構。
5. 了解數據安全和隱私保護法規(guī)，能執(zhí)行數據加密和訪問控制策略。
6. 具備良好的問題解決能力，能夠在復雜環(huán)境中調試和優(yōu)化數據流程。
7. 良好的溝通技巧，能與業(yè)務團隊有效協作，理解業(yè)務需求并轉化為技術解決方案。
崗位職責描述
數據開發(fā)工程師的工作日常包括但不限于：
1. 設計和實現數據管道，將各種來源的數據整合到統(tǒng)一的存儲系統(tǒng)中。
2. 維護和優(yōu)化數據處理性能，確保數據的實時性和準確性。
3. 與數據科學家合作，搭建實驗環(huán)境，支持數據分析和機器學習項目。
4. 參與數據治理活動，確保數據質量和一致性。
5. 建立和維護數據文檔，提供數據查詢和報告服務。
6. 對現有數據系統(tǒng)進行監(jiān)控，及時發(fā)現和解決問題，保證系統(tǒng)的穩(wěn)定運行。
有哪些內容
1. 技術實施：負責數據集成、清洗、轉換和加載的代碼編寫，確保數據流程的穩(wěn)定性和可擴展性。
2. 系統(tǒng)優(yōu)化：通過調優(yōu)數據庫參數、優(yōu)化查詢性能，提升數據處理效率。
3. 平臺維護：管理大數據處理平臺，定期進行軟件更新和硬件維護。
4. 項目協作：與業(yè)務部門、數據分析師和數據科學家共同參與項目，提供技術支持。
5. 規(guī)范制定：參與制定和推行數據標準、命名規(guī)則和最佳實踐。
6. 培訓指導：為團隊成員提供技術指導和培訓，提升整體技術水平。
7. 應急響應：快速響應數據相關的問題，及時修復故障，防止數據損失。
作為一個數據開發(fā)工程師，不僅需要深厚的技術功底，還需要對業(yè)務有深入的理解，以便將技術優(yōu)勢轉化為企業(yè)的競爭優(yōu)勢。在這個數據日益重要的時代，數據開發(fā)的角色愈發(fā)關鍵，為企業(yè)決策提供強有力的數據支撐。
數據開發(fā)崗位職責范文
第1篇 java大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述：
職責描述：
1. 精通java開發(fā)、熟悉restful和maven，精通主流java web開發(fā)框架spring、spring boot、spring data jpa、logback、mybatis；
2.熟悉對常用關系型數據庫和hdfs、hive，kafka、storm等讀寫操作，性能優(yōu)化;
3. 具備系統(tǒng)架構設計能力，具備較強的java程序調優(yōu)能力及數據庫設計和sql調優(yōu)能力，具備良好的溝通能力；
4. 熟悉多線程編程、熟悉junit單元測試；
第2篇 大數據開發(fā)高級工程師-etl方向職位描述與崗位職責任職要求
職位描述：
工作職責:
1、 根據公司數據分析需求進行基于hadoop 平臺的項目開發(fā)；
2、 根據需求進行數據倉庫模型設計，熟練使用kettle工具進行etl程序的開發(fā)；包括實時數據加工，計算，etl，管理， 監(jiān)控等；
3、 負責針對源系統(tǒng)進行數據抽取、處理、分析等相關工作，及項目中涉及到的數據庫創(chuàng)建、維護及提供數據接口工作；
4、 負責設計并優(yōu)化基于hive 的數據倉庫的建設；
5、 制定數據庫備份和恢復策略及工作流程與規(guī)范。
6、能出具消費品品牌制造行業(yè)應用的數據分析技術解決方案，并落地。
任職資格:
1．從事數據倉庫領域至少2年以上，熟悉數據倉庫模型設計與etl開發(fā)經驗 ，具備海量數據加工處理相關經驗；
2. 熟悉數據倉庫領域知識和技能者優(yōu)先，包括但不局限于：元數據管理、數據開發(fā)測試工具與方法、數據質量、主數據管理；
3．有從事分布式數據存儲與計算平臺應用開發(fā)經驗，熟悉hadoop生態(tài)相關技術并有相關實踐經驗著優(yōu)先，重點考察hive、hdfs、hbase;
4. 熟練掌握kettlesqoop、data_、airflow等;
5. 有消費品品牌制造、零售行業(yè)經驗，尤其快消品行業(yè)和財務領域數據項目經驗者優(yōu)先;
6. 熟悉分布式計算presto/imapa優(yōu)先;
7．有實時計算方面的經驗的優(yōu)先。
第3篇 高級數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述：
職責描述：
1、承擔現有數據平臺的開發(fā)和優(yōu)化工作
2、根據業(yè)務需求進行數據模型的調研、設計、開發(fā)及驗證工作，并持續(xù)進行模型優(yōu)化
3、負責數據模型架構的構建，建立數據抽取、清洗、校驗等數據加工流程規(guī)范及olap多維數據分析模型
4、負責實時計算平臺搭建。
職位要求：
1、3-5年以上的相關工作經驗
2、熟悉分布式計算平臺
3、有日志采集，數據處理，數據倉庫建模，etl等經驗
4、熟悉java、python、spark開發(fā)
5、熟練掌握linu_ shell及sql語言
6、有獨立負責數據某一模塊的實際項目經驗
7、有過用戶畫像等方面開發(fā)經驗者優(yōu)先
8、有實時處理開發(fā)經驗者優(yōu)先
第4篇 數據開發(fā)負責人職位描述與崗位職責任職要求
職位描述：
崗位職責：
1、負責集團基礎數據平臺架構并實施建設開發(fā)；
2、負責構建設計良好的信息源數據采集、傳輸、存儲、計算、分析和挖掘技術實施方案；
3、實現優(yōu)化調度系統(tǒng)、查詢引擎、數據工具等降低數據的使用門檻，保證平臺穩(wěn)定高效運行；
3、負責應對處理每天千億增量的玩家行為數據；
4、負責對接并支持業(yè)務系統(tǒng)的數據分析工作，支持對內對外部數據進行梳理、整合及共享；
任職要求：
1、計算機或數學相關專業(yè)，3年以上數據從業(yè)經驗；
2、深入hadoop大數據生態(tài)體系，對包括flume、kafka、hbase、hive、spark等有深刻理解，了解過flink、impala、kylin等；
3、精通kafka/redis/rabbitmq等其中至少一種消息隊列技術，擅長mysql存儲原理及索引優(yōu)化；
4、有過支撐每日億級別數據處理經驗，在離線數據處理、在線檢索方面有豐富的經驗，了解集群管理、資源調度等綜合實現；
5、熟練使用scala/java/python開發(fā)，具有較強的數據敏感性，熟悉web開發(fā)技術，有游戲相關數據處理與分析平臺開發(fā)經驗者優(yōu)先。
第5篇 大數據開發(fā)專家職位描述與崗位職責任職要求
職位描述：
職責描述：
任職要求：
1. 負責完成大數據基礎組件的封裝，大數據技術使用規(guī)范的定義；
2. 負責對業(yè)務開發(fā)團隊進行大數據技術的培訓與開發(fā)指導；
3. 負責對公司產品已有的大數據架構，不斷改進完善；
4. 負責跟進大數據前沿技術的發(fā)展，根據業(yè)務需要完成公司大數據架構的演進。
5. 負責解決重大疑難問題，有開源組件的bug fi_ 經驗者優(yōu)先
職位要求：
1. 熟練掌握java開發(fā)語言，有4年以上大數據開發(fā)經驗；
2. 對數據敏感，有較強的邏輯分析能力，對 (大) 數據處理和分析有多年從事經驗，有復雜業(yè)務和算法的數據平臺建設經驗；
3. 有分布式數據存儲和流式計算開發(fā)經驗，熟悉hadoop生態(tài)相關技術及各種大數據計算框架，熟練使用flink、
hadoop、spark、hdfs、hbase、kafka、elasticsearch、solr，druid有優(yōu)化經驗者優(yōu)先；
4. 對實時指標的開發(fā)和架構經驗者優(yōu)先；
5. 有較強的技術好奇心和求知欲，有技術總結的習慣（如寫技術博客）；
第6篇 大數據開發(fā)工程師（數據分析、信息安全、前端開發(fā)、數據對接）職位描述與崗位職責任職要求
職位描述：
數據分析工程師：
崗位職責：
1、負責結構化數據和文本的數據處理、建模、分析等工作，如：數據清洗、中文分詞、情感分析、文本分類等；
2、負責數據需求的收集、整理和分析，配合其他同事完成結構化數據和文本的需求分析；
3、負責分析結果的可視化展現；
4、負責核心算法的設計與優(yōu)化。
任職要求：
1、全日制本科畢業(yè)；
2、計算機或數學或軟件類或統(tǒng)計相關專業(yè)；
3、熟悉數據挖掘和文本挖掘的理論基礎，掌握統(tǒng)計模型、機器學習相關原理；
4、熟悉r/python/java等編程語言，熟悉常用數據結構和算法，熟悉正則表達式的使用。
web前端開發(fā)工程師：
崗位職責：
1、負責前端框架設計及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌；
2、與后端工程師緊密配合，高效率、高質量地完成頁面展現研發(fā)工作；
3、負責對產品頁面性能的優(yōu)化和維護；
4、負責數據可視化圖表顯示。
任職要求：
1、本科及以上學歷，專業(yè)不限。3年以上前端開發(fā)經驗；
2、精通html5/css3、_html/_ml，熟悉頁面架構和布局，對表現與數據分離、web語義化等有深刻理解；
3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經驗；
4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack；
5、有echars、highcahrts、d3js等數據可視化框架開發(fā)經驗優(yōu)先。
信息安全架構工程師：
崗位職責：
1、 規(guī)劃車聯網安全架構，不斷完善車聯網產品的安全規(guī)范和要求，跟進、解決存在的安全隱患；
2、 對上線前的軟件或者車上產品進行安全方面驗證及測試；
3、 跟進最新漏洞的研究工作，理解漏洞的原理，編制漏洞研究報告和防范措施；
4、 負責行業(yè)/國家車聯網汽車網絡安全部分的技術及標準規(guī)范的研究工作。
任職要求：
1、本科以上學歷，信息安全，計算機，通信等相關專業(yè)；
2、 擁有網絡安全專業(yè)技能，熟悉車載網絡架構，模塊及協議；
3、 熟悉常見網絡/車輛安全漏洞，掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力；
4、 熟悉常見黑客攻擊手法，具備對黑客行為的入侵檢測能力；
5、 精通安全測試框架，理解網絡，應用，數據等不同層面的安全。
數據對接工程師：
崗位職責：
1、負責內部系統(tǒng)的對接工作；
2、第三方平臺的數據對接及程序維護；
3、負責各車型的數據采集要求整理及規(guī)劃；
4、熟悉數據結構和常用算法，有良好的代碼規(guī)范，能對接入數據/系統(tǒng)提出優(yōu)化方案。
任職要求：
1、 本科以上學歷，信息化項目，計算機，無線傳輸等相關專業(yè)；
2、擁有信息化相關技能，熟悉系統(tǒng)間的交互對接流程；
3、熟悉數據庫的管理及查詢、同步工作；
4、熟悉信息對接的方式，能用api、視圖等進行對接工作。
第7篇 大數據開發(fā)工程師-偏數據模型方向-l80542職位描述與崗位職責任職要求
職位描述：
職責描述：
1、參與數據需求的溝通和模型設計；
2、負責大數據平臺的數據需求開發(fā)，包括實時和批量處理；
3、負責不同數據源的接入解析落地的設計開發(fā)工作；
4、負責數據質量監(jiān)控，解決數據運行和質量問題。
任職要求：
1、計算機本科以上學歷，至少有3年數據開發(fā)經驗；
2、精通java/scala/python，至少有3年以上開發(fā)使用經驗；
3、熟悉spark，hive，flink，jstorm等大數據實時計算技術；
4、掌握hive sql，sparksql，es query dsl 等查詢語言；擁有sql性能調優(yōu)經驗；
5、具有較強的業(yè)務理解能力，較強的責任心、團隊合作能力和溝通能力；
6、有過圖數據庫開發(fā)或spark mllib開發(fā)經驗者優(yōu)先考慮。
第8篇 oracle 數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述：
工作職責：
1. 數據倉庫和業(yè)務數據集市建設
2. 業(yè)務模型抽象、數據模型設計開發(fā)
3. 支持業(yè)務的數據需求，跟pm一起完善業(yè)務的數據分析體系和工具
4. etl、數據應用和服務的設計開發(fā)
5. 積累數據生產、分析工具，不斷提高數據生產效率
6. 實時數據倉庫設計、開發(fā)與服務
崗位要求:
1. 快速的業(yè)務學習和理解能力，有良好的自驅能力，對工作充滿熱情
2. 熟悉數據倉庫各類模型建模理論，了解數據倉庫數據分層架構，熟悉多維數據模型設計
3. 具備大型數據倉庫架構設計、模型設計、etl設計的相關經驗
4. 精通oracle數據庫技術，深刻理解數據庫/oracle特性，有過硬的sql能力，能編寫高性能的數據處理程序。
5. 具備hadoop、hive、hbase，spark等大數據技術背景，并具有開發(fā)經驗者優(yōu)先
6. 具備海量數據處理經驗者優(yōu)先
第9篇 大數據開發(fā)主管職位描述與崗位職責任職要求
職位描述：
崗位職責：
負責大數據平臺項目架構設計；
負責與客戶進行具體業(yè)務需求溝通，引導客戶需求并確認；
負責需求分析以及平臺設計、數據模型設計工作，并輸出相關文檔，與第三方進行溝通，并確認項目關鍵節(jié)點進度。
任職要求：
國家正規(guī)院校統(tǒng)招本科以上學歷，有5年以上工作經驗，至少1年以上大數據架構師工作經驗、熟悉大數據平臺項目的操作流程；
熟練掌握python、hadoop、spark、kafka等工具；
較好的溝通理解能力和主動性。
第10篇 數據開發(fā)工程師崗位職責
數據庫開發(fā)工程師 融智投資 深圳市排排網投資管理股份有限公司,排排網,私募排排網,融智投資,排排網 崗位職責:
1.負責數據庫建模及開發(fā);
2.負責維護現有公司主站、數據中心數據庫;
3.負責現有數據庫性能及架構的優(yōu)化;
4.負責解決日常出現的存儲過程錯誤及數據錯誤,并給出解決方案;
5.負責數據庫運維工作(同步、建庫);
6.負責數據庫技術架構;
崗位要求:
1. 擁有5年以上mysql(或oracle)數據庫管理、開發(fā)、設計及系統(tǒng)支持經驗;
2. 精通sql語法,有能力編寫較復雜t-sql腳本;
3. 精通mysql的主從復制,了解至少一種ha方案;
4. 熟悉linu_系統(tǒng)的操作和基本排障方法;
5. 工作踏實,認真仔細,善于總結,責任心強 ;
6. 有etl工具開發(fā)經驗者優(yōu)先考慮;
第11篇 python數據開發(fā)工程師崗位職責職位要求
職責描述：
要求：
1. 計算機以及相關專業(yè)本科畢業(yè)。碩士從優(yōu)。
2. 有責任心和領導力，能夠獨立開展工作。
3. 1-3年以上軟件開發(fā)經驗
4. 能夠快速學習吸收新知識
5. 熟練掌握python
6. 對軟件系統(tǒng)的可擴展性和性能效率有足夠的理解。
7. 對以下的幾種技術有較好的理解：mongodb， elastic seaerch，redis， git/github
8. 有很好的溝通書面和口頭能力，具有良好的英語溝通能力優(yōu)先。
9. 對現代軟件開發(fā)流程比較熟悉，包括：agile/scrum， unit test and continuous integration.
10. 具有面向消費者的應用（包括網站）開發(fā)經驗的優(yōu)先。
11. 能夠在linu_ 環(huán)境下工作
崗位要求：
學歷要求：本科及以上
語言要求：不限
年齡要求：不限
工作年限：經驗1-3年
第12篇 大數據開發(fā)工程師崗位職責職位要求
職責描述：
崗位職責：
1、運用大數據分析工具和技術解決風險管理業(yè)務中遇到的實際問題與需求，如風險評估、成長評價等，包括對模型進行設計、開發(fā)、驗證、測試、部署及監(jiān)控、優(yōu)化。。
2、基于海量用戶數據和特征，進行數據質量檢查、特征加工、數據清洗等，建立數據挖掘模型。
3、評估數據源的質量和價值，能結合業(yè)務需求和場景，從各種數據維度中挖掘數據價值，并設計不同的模型，應用于不同的業(yè)務場景中。
職位要求：
1. 計算機、統(tǒng)計學相關背景，熟悉常用各類機器學習算法的原理（如邏輯回歸、決策樹、svm、神經網絡、隨機森林、深度學習等）；
2.熟練使用sas、r、python等至少一種分析工具；
3.熟悉大數據分析平臺和工具，如hive，hadoop， spark等優(yōu)先；
4.有較強的邏輯思維能力、優(yōu)秀的溝通表達能力及團隊合作能力。
崗位要求：
學歷要求：本科
語言要求：不限
年齡要求：不限
工作年限：5-7年經驗
第13篇 大數據開發(fā)總監(jiān)崗位職責大數據開發(fā)總監(jiān)職責任職要求
大數據開發(fā)總監(jiān)崗位職責
大數據開發(fā)總監(jiān) 主要職責
1. 帶領大數據團隊，包括數據建設、數據質量治理、數據應用和數據產品;
2. 設計并優(yōu)化公司大數據架構，包括數據建設流、數倉模型、數據集市架構;
3. 構建數據質量保障體系，包括全流程監(jiān)控、預警和數據快速恢復、數據質量評估
4. 完善數據應用體系，包括數據產品構建、數據分析需求響應、數據集市
5. 數據工程架構迭代，包括實時流、權限管理、調度、應用輸出等 主要職責
1. 帶領大數據團隊，包括數據建設、數據質量治理、數據應用和數據產品;
2. 設計并優(yōu)化公司大數據架構，包括數據建設流、數倉模型、數據集市架構;
3. 構建數據質量保障體系，包括全流程監(jiān)控、預警和數據快速恢復、數據質量評估
4. 完善數據應用體系，包括數據產品構建、數據分析需求響應、數據集市
5. 數據工程架構迭代，包括實時流、權限管理、調度、應用輸出等
第14篇 數據開發(fā)崗職位描述與崗位職責任職要求
職位描述：
數據開發(fā)崗（1-2名）
1.崗位職責：
（1）負責大數據應用、數據采集加工、數據分析等領域的開發(fā)工作；
（2）參與大數據應用項目的建設，包括項目開發(fā)及項目管理等工作；
（3）負責大數據領域的技術應用趨勢跟蹤，進行技術，促進大數據應用能力提升。
2.能力要求：
（1）計算機、數學或物理等相關專業(yè)，本科及以上學歷；
（2）熟悉數據庫理論，了解或熟悉一種或多種sql/nosql數據庫，熟練掌握sql語句；
（3）了解或熟悉數據倉庫建模、hadoop平臺架構、流式處理技術以及海量數據采集與集中處理技術；
（4）至少熟悉一種或以上的開發(fā)語言，包括java、python、r等開發(fā)語言；
（5）誠實正直，工作責任心強，具備良好的團隊合作意識，以及良好的溝通能力，積極上進，能夠承擔壓力、接受挑戰(zhàn)。
第15篇 sql數據開發(fā)崗位職責
sql數據庫開發(fā)工程師-北京 工作職責:
1. 負責中國銀行內部業(yè)務的軟件開發(fā),能按時完成項目經理安排的需求及功能模塊開發(fā)
2. 有一定的針對代碼重用性、擴展性設計的經驗和能力
任職要求:
1、 熟悉sqlserver 相關的數據庫性能調優(yōu),數據抽取,清理等操作。
2、 熟悉ssis、ssas、ssrs;
3、 熟悉isqlserver____年下的sql編寫,善于sql性能調優(yōu);
4、 能夠快速適應現有的成熟系統(tǒng)框架,較強的代碼閱讀能力,良好的代碼規(guī)范
5、 3年以上工作經驗,要sql server這一塊很熟悉
工作職責:
1. 負責中國銀行內部業(yè)務的軟件開發(fā),能按時完成項目經理安排的需求及功能模塊開發(fā)
2. 有一定的針對代碼重用性、擴展性設計的經驗和能力
任職要求:
1、 熟悉sqlserver 相關的數據庫性能調優(yōu),數據抽取,清理等操作。
2、 熟悉ssis、ssas、ssrs;
3、 熟悉isqlserver____年下的sql編寫,善于sql性能調優(yōu);
4、 能夠快速適應現有的成熟系統(tǒng)框架,較強的代碼閱讀能力,良好的代碼規(guī)范
5、 3年以上工作經驗,要sql server這一塊很熟悉
第16篇 大數據開發(fā)工程師（數倉方向）職位描述與崗位職責任職要求
職位描述：
崗位職責：
1. 理解業(yè)務需求，負責數據倉庫建設、etl流程的開發(fā)和優(yōu)化工作；
2. 解決業(yè)務數據分析、數據報表、數據異常相關的技術問題；
3. spark/yarn/hdfs 的性能改進、功能擴展、故障分析；
任職資格：
1. 計算機相關專業(yè)本科及以上學歷；
2. 精通java編程語言，并熟悉scala、python、shell等一門以上腳本語言；
3. 熟悉hadoop大數據平臺架構，熟悉spark/spark sql/yarn開發(fā)調優(yōu)技術，具有相關項目經驗
4. 掌握數據倉庫(dw)/olap/商業(yè)智能(bi)/數據統(tǒng)計理論，熟悉oracle/mysql數據庫；
5. 思路清晰，具備良好的溝通能力和理解能力，較強的學習能力以及快速解決問題的能力；
6. 具有高度的責任感，工作認真、踏實。
福利待遇：
1、薪酬：有競爭力的薪酬體系，我們不止跟你談理想，錢也必須談一談~
2、交通：無論天涯，免費班車直達公司，驀然回首，地鐵就在公司不遠處。。。
3、工作時間：5天7小時工作制，充足的休息讓你一整天元氣滿滿！
4、各種福利：五險一金小case，節(jié)日禮物福利補貼說不完！
5、團建活動：下午茶，團隊活動，部門聚餐，經費充足不差錢，大公司就是這么壕！
6、發(fā)展平臺：想要升職加薪走向人生巔峰？上市公司晉升發(fā)展機會多多~
第17篇 大數據開發(fā)工程師（p7-p8)3職位描述與崗位職責任職要求
職位描述：
崗位職責：
分布式大數據系統(tǒng)開發(fā)、計算性能調優(yōu)、 高性能服務框架設計與開發(fā)；
參與項目的架構設計、評審、技術攻堅及優(yōu)化；
參與系統(tǒng)文檔的撰寫、維護。
任職要求：
本科以上學歷，計算機或相關專業(yè)；
3年以上linu_后臺開發(fā)經驗，有大規(guī)模系統(tǒng)開發(fā)經驗；
精通http、tcp/ip協議，網絡編程；
熟悉linu_操作系統(tǒng)原理，常用工具；
熟悉常用大數據開源組件；
有高并發(fā)、大容量后臺服務系統(tǒng)設計經驗；
具有良好的學習能力、溝通能力、團隊合作意識；
強烈的責任心與主動性，對所負責工作有owner意識，并能自我驅動成長；
對hadoop、flink、spark、lucene等開源項目有大規(guī)模應用經驗，contributor或者committer優(yōu)先。
第18篇 數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述：
工作職責：
1、負責數據收集、清洗和規(guī)約等工作；
2、提供面向業(yè)務的數據服務，完成數據指標的統(tǒng)計、多維分析和展現；
3、根據業(yè)務和產品情況，抽象業(yè)務邏輯，搭建和開發(fā)大數據平臺。
任職要求：
1、統(tǒng)招本科或以上學歷；
2、精通sql，有較好的sql性能調優(yōu)經驗，了解hive/mysql的基本原理和調優(yōu)策略
3、熟悉常用的數據挖掘、分析的工具和方法，熟悉linu_平臺，精通shell/python/php等腳本語言的一種或多種，編碼基本功扎實 ；
4、精通java開發(fā)，熟悉大數據處理相關技術，有hadoop開發(fā)經驗，掌握mapreduce。
第19篇 中級大數據開發(fā)工程師職位描述與崗位職責任職要求
職位描述：
職責描述：
1、參與公司商業(yè)智能平臺的研發(fā)工作；
2、參與公司商業(yè)智能平臺的升級改造工作，包括運維工作。
任職要求：
1、正規(guī)院校本科及以上學歷，軟件、計算機、通信、信息安全、網絡工程等相關專業(yè)；
2、良好的java開發(fā)背景，熟悉spring/mybatis技術體系；
3、良好的sql功底，熟悉mysql或oracle數據庫；
4、熟悉linu_；
5、了解開源pentaho產品，包括prd、mondrian、saiku、kettle等；
6、熟悉hadoop、hive、hbase、storm、spark等大數據平臺；
7、溝通能力強，有較強的學習能力，有較強的責任心與良好的團隊協作能力。
第20篇 大數據開發(fā)工程師（杭州）職位描述與崗位職責任職要求
職位描述：
崗位職責：
1.參與大數據精準學平臺設計與研發(fā)，在大數據采集、存儲、分析及應用領域都會有所涉及。
2.參與需求分析、系統(tǒng)架構設計、并完成需求設計相應文檔的編寫。
3.參與核心代碼實現、系統(tǒng)性能優(yōu)化。
4.保質保量地完成項目組分配的開發(fā)任務。
5.協助項目經理進行技術支持工作，共同解決產品研發(fā)過程遇到的技術難題。
任職要求：
1. 具備3年及以上大數據系統(tǒng)開發(fā)經驗，計算機相關專業(yè)本科及以上學歷；
2. 有實時流處理經驗，掌握flink、storm等實時處理框架；
3. 熟悉并會使用spark mllib、機器學習、自然語言處理等相關技術和算法；
4. 具有hadoop/spark，以及kafka、flume、hbase、hive、zookeeper等大數據生態(tài)圈實際開發(fā)經驗。深入了解hadoop/spark生態(tài)圈產品的工作原理及應用場景；
5. 具備較強的數據分析，問題分析，邏輯思維能力，良好的溝通，團隊協作能力。
