我要報名

咨詢電話：
手　　機：	郵箱：

課程對象

1，系統架構師、系統分析師、高級程序員、資深開發人員。

2，牽涉到大數據處理的數據中心運行、規劃、設計負責人。

3，政府機關，金融保險、移動和互聯網等大數據來源單位的負責人。

4，高校、科研院所牽涉到大數據與分布式數據處理的項目負責人。

培訓目標

1，全面掌握大數據處理技術的相關知識。

2，學習Spark的核心技術方法以及應用特征。

3，深入使用Spark在大數據實時處理中的使用。

4，掌握BDAS相關工具及其主要功能。

課程大綱

第一講 數據中臺建設（基礎篇）

本節要點：

中國的信息化建設開始由IT向著DT轉型，在未來的3-5年時間里，各行各業都會陸續建設起來自己的數據中臺。只有有了數據中臺作為基礎，才能落地更多的人工智能應用。然而，什么是數據中臺，它有什么功能，該如何建設？本節從DT轉型的過程開始梳理，幫助大家準確理解數據中臺的建設。

目標：

1、準確理解數據中臺，數據驅動，以及數據價值變現

2、在數據中臺中實踐“盡可能采集數據、更好地整理數據、有效地挖掘數據價值”

3、將“自頂向下”與“自下而上”相結合，制訂切實可行的數據中臺建設路線圖

4、數據中臺的技術架構最終落地到分布式大數據技術上

內容：

1、從IT向DT的信息化轉型

1）以部門為單位的IT建設及其局限

2）基于SOA架構的IT建設及其局限

3）互聯網架構發展及其數據需求

結論：我們需要存儲、處理、應用海量數據的能力

2、數據應用成熟度

1）查詢統計：數據分散于各業務系統，無質量管控，應用價值低

2）決策支持：數據集中于數據倉庫，有質量管控，但局限于數據庫、數據采集手段等問題

3）數據中臺：讓數據產生價值（核心）

3、數據中臺

1）盡可能多地收集數據

2）更好地整理歸集數據

3）如何去挖掘數據的價值

4、數據中臺的建設思路

1）自頂而下

2）自下而上

5、數據中臺的技術架構

第二講 數據中臺建設（大數據篇）

本節要點：

數據中臺建設的底層技術框架是大數據技術。通過大數據技術，可以為數據中臺提供豐富的手段，采集更多的數據、更高效處理數據，以及有更多的方式挖掘數據價值。那么，什么是大數據技術，它們有什么豐富的手段，怎么建設大數據技術中臺，去支撐數據中臺？

目標：

1、了解大數據技術的運行原理，理解大數據為什么能夠高效處理海量數據

2、掌握大數據有哪些豐富的技術，如何支撐數據中臺的各個層次的應用

3、掌握大數據技術中臺的建設思路，如何封裝技術框架、支撐業務應用

內容：

1、傳統關系型數據庫的設計局限

1）數據量

2）計算能力

3）數據復雜性

2、分布式大數據的設計理念

1）分布式并行計算

2）移動計算而不是移動數據

3）分布式計算發展歷程與未來趨勢

3、大數據技術及其生態圈

1）Hadoop核心組件：MapReduce，HDFS

2）并行計算框架：Spark vs. MapReduce

3）在線查詢：HBase與Impala

4）流式計算：Flink vs. Spark Stream

5）文本索引：Solr vs. ElasticSearch

6）Zookeeper與高可靠架構

7）Kafka分布式隊列與日志收集

8）數據挖掘工具：Mahout、SparkR與Spark ML

4、數據中臺的大數據技術中臺建設

1）數據中臺的大數據技術框架

2）數據中臺的大數據關鍵技術

a. Hadoop的工作原理與HDFS

b. Spark的工作原理與分布式內存計算

3）數據中臺的大數據技術中臺建設

a.將技術框架與業務應用解耦

b.抽象共性、降本增效的思想方法

c.業務層、基礎層與技術層的建設思路

第三講 數據中臺建設（數據治理篇）

本節要點：

在數據中臺建設中，數據治理起到及其重要的作用，可以有效地進行數據質量管理，為后續的數據應用打下良好的基礎。在本節課程中，老師詳細拆解，多樣化地采集數據，設計ETL過程，進行數據質量管理，運用大數據技術構建數據倉庫。

目標：

1、掌握大數據技術結構化與非結構化的數據采集

2、掌握數據中臺的ETL過程與數據倉庫建設實踐

3、如何運用大數據技術進行ETL過程與數據倉庫建設

內容：

1、數據中臺中數據采集功能的建設思路

1）結構化數據采集（Sqoop框架）及其案例實戰

a. Sqoop數據導入設計實戰

b. Sqoop數據導出設計實戰

c. Sqoop在大數據技術中臺中的設計思路

2）非結構化數據采集（flume+kafka+spark streaming）及其案例實戰

a. flume+kafka+spark streaming的設計原理

b.用戶行為分析的應用實戰

2、數據中臺中的數據質量管理與數據倉庫

1） ETL過程中數據清洗、轉換、集成及其應用實戰

2）運用大數據技術進行ETL過程的應用實戰

a. Spark+Hive的設計原理與實戰

b. Spark+Hive在大數據技術中臺中的設計思路

3）多維數據模型與數據倉庫建設

a. 多維數據模型的概念及其應用實踐

b. 雪花模型、星形模型與主題域模型的建設過程

c. 分享在數據倉庫建設上遇到的那些“坑”及其解決思路

3、數據中臺的質量體系建設

1）數據體系規劃：原始數據層、數據倉庫層、數據集市層

2）數據資產管理：資產規劃、數據治理、標簽管理

3）數據質量管理：元數據管理、數據血緣管理

4）數據倉庫建設：多維數據建模、事實表、維度表、聚合表

第四講 數據中臺建設（數據應用篇）

本節要點：

數據中臺建設的核心就是數據驅動，也就是以數據價值變現為核心，思考如何挖掘數據價值、設計數據產品、形成數據應用，甚至是智能應用。老師將通過一大波的應用案例，帶領大家去探尋數據應用的神奇世界，挖掘數據應用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標：

1、掌握數據價值變現的常見方法（可視化、風控、推薦、人工智能等）

2、掌握基于數據集市的數據建模過程（經驗模型、數據模型）

3、掌握如何將數據應用落地到大數據技術中臺建設

內容：

1、數據中臺的核心是數據價值變現

1）數據可視化

案例：網絡運營商大數據監控系統建設過程

2）數據風控

案例：稅務系統虛開發票風險監控系統建設過程

3）數字化運營

案例：用戶行為分析與數字化運營的建設過程

4）數據挖掘與人工智能

案例：遠程智慧醫療平臺的人工智能建設過程

2、數據集市的系統建設與數據標簽

1）數據集市的概念與應用舉例

案例：稅務系統虛開發票風險監控系統的數據集市應用

2）數據血緣管理的概念及其設計

a. 數據血緣管理在數據質量管理中的重要作用

b. 數據血緣管理的相關設計及其實踐

3）數據標簽的分析設計與開發

a. 數據標簽的類型與在數據分析中的作用

b. 數據標簽融合表及其設計實踐

第五講 數據中臺建設（數據服務篇）

本節要點：

數據中臺經過一系列的分析處理之后，最終要對外提供數據服務才能價值變現。數據展現與數據服務是價值變現的最后一步，是用戶對產品質量最直觀的感受。因此，數據服務需要提供良好的用戶體驗，就需要數據服務“快、準、美”。

目標：

1、掌握在海量數據中離線分析、在線分析與近線分析的設計思路

2、掌握在海量數據中秒級查詢的設計思路（數據索引）與實踐

3、理解打造支持快速數據分析展現的大數據技術中臺建設思路

內容：

1、海量數據的離線分析、在線分析與近線分析

1）離線分析的概念與設計實踐

案例：稅務系統虛開發票風險監控系統的風險數據離線分析

2）在線分析的概念與設計實踐

案例：網絡運營商大數據監控系統的實時流量監控

3）近線分析的概念與設計實踐

案例：用戶行為分析與數字化運營的分析設計過程

2、海量數據的秒級查詢的設計實現

1）分布式NoSQL數據庫的設計實踐

a. 傳統關系型數據庫的局限與NoSQL數據庫

b. MongoDB的工作原理與設計實踐

c. HBase的工作原理與設計實踐

2）分布式索引ElasticSearch的設計實踐

a. ElasticSearch的工作原理與設計實踐

b. ElasticSearch的優化與在技術中臺中的設計思路

3）分布式MOLAP框架Kylin的設計實踐

a. Kylin的工作原理與設計實踐

b. Kylin的降維設計與性能優化

3、海量數據的數據服務與數據共享

1）大數據分析報表系統的技術中臺建設思路

2）大數據服務共享平臺的技術架構與建設思路

范老師

航天信息前首席架構師，暢銷書籍《大話重構》作者，規模化敏捷SPC，軟件架構及重構的客座講師，獨立咨詢顧問。先后參與了數十個國內大型軟件項目，涉及國家財政、軍工、稅務、醫療等領域的大數據建設、風險防控與人工智能研究，互聯網及大數據轉型的實踐者與倡導者。

我要報名

在線報名：數據中臺與大數據建設的方法與實踐(上海)