我要報(bào)名

咨詢電話：
手　　機(jī)：	郵箱：

課程對象

1，系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員。

2，牽涉到大數(shù)據(jù)處理的數(shù)據(jù)中心運(yùn)行、規(guī)劃、設(shè)計(jì)負(fù)責(zé)人。

3，政府機(jī)關(guān)，金融保險(xiǎn)、移動(dòng)和互聯(lián)網(wǎng)等大數(shù)據(jù)來源單位的負(fù)責(zé)人。

4，高校、科研院所牽涉到大數(shù)據(jù)與分布式數(shù)據(jù)處理的項(xiàng)目負(fù)責(zé)人。

培訓(xùn)目標(biāo)

1，全面掌握大數(shù)據(jù)處理技術(shù)的相關(guān)知識(shí)。

2，學(xué)習(xí)Spark的核心技術(shù)方法以及應(yīng)用特征。

3，深入使用Spark在大數(shù)據(jù)實(shí)時(shí)處理中的使用。

4，掌握BDAS相關(guān)工具及其主要功能。

課程大綱

第一講 數(shù)據(jù)中臺(tái)建設(shè)（基礎(chǔ)篇）

本節(jié)要點(diǎn)：

中國的信息化建設(shè)開始由IT向著DT轉(zhuǎn)型，在未來的3-5年時(shí)間里，各行各業(yè)都會(huì)陸續(xù)建設(shè)起來自己的數(shù)據(jù)中臺(tái)。只有有了數(shù)據(jù)中臺(tái)作為基礎(chǔ)，才能落地更多的人工智能應(yīng)用。然而，什么是數(shù)據(jù)中臺(tái)，它有什么功能，該如何建設(shè)？本節(jié)從DT轉(zhuǎn)型的過程開始梳理，幫助大家準(zhǔn)確理解數(shù)據(jù)中臺(tái)的建設(shè)。

目標(biāo)：

1、準(zhǔn)確理解數(shù)據(jù)中臺(tái)，數(shù)據(jù)驅(qū)動(dòng)，以及數(shù)據(jù)價(jià)值變現(xiàn)

2、在數(shù)據(jù)中臺(tái)中實(shí)踐“盡可能采集數(shù)據(jù)、更好地整理數(shù)據(jù)、有效地挖掘數(shù)據(jù)價(jià)值”

3、將“自頂向下”與“自下而上”相結(jié)合，制訂切實(shí)可行的數(shù)據(jù)中臺(tái)建設(shè)路線圖

4、數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)最終落地到分布式大數(shù)據(jù)技術(shù)上

內(nèi)容：

1、從IT向DT的信息化轉(zhuǎn)型

1）以部門為單位的IT建設(shè)及其局限

2）基于SOA架構(gòu)的IT建設(shè)及其局限

3）互聯(lián)網(wǎng)架構(gòu)發(fā)展及其數(shù)據(jù)需求

結(jié)論：我們需要存儲(chǔ)、處理、應(yīng)用海量數(shù)據(jù)的能力

2、數(shù)據(jù)應(yīng)用成熟度

1）查詢統(tǒng)計(jì)：數(shù)據(jù)分散于各業(yè)務(wù)系統(tǒng)，無質(zhì)量管控，應(yīng)用價(jià)值低

2）決策支持：數(shù)據(jù)集中于數(shù)據(jù)倉庫，有質(zhì)量管控，但局限于數(shù)據(jù)庫、數(shù)據(jù)采集手段等問題

3）數(shù)據(jù)中臺(tái)：讓數(shù)據(jù)產(chǎn)生價(jià)值（核心）

3、數(shù)據(jù)中臺(tái)

1）盡可能多地收集數(shù)據(jù)

2）更好地整理歸集數(shù)據(jù)

3）如何去挖掘數(shù)據(jù)的價(jià)值

4、數(shù)據(jù)中臺(tái)的建設(shè)思路

1）自頂而下

2）自下而上

5、數(shù)據(jù)中臺(tái)的技術(shù)架構(gòu)

第二講 數(shù)據(jù)中臺(tái)建設(shè)（大數(shù)據(jù)篇）

本節(jié)要點(diǎn)：

數(shù)據(jù)中臺(tái)建設(shè)的底層技術(shù)框架是大數(shù)據(jù)技術(shù)。通過大數(shù)據(jù)技術(shù)，可以為數(shù)據(jù)中臺(tái)提供豐富的手段，采集更多的數(shù)據(jù)、更高效處理數(shù)據(jù)，以及有更多的方式挖掘數(shù)據(jù)價(jià)值。那么，什么是大數(shù)據(jù)技術(shù)，它們有什么豐富的手段，怎么建設(shè)大數(shù)據(jù)技術(shù)中臺(tái)，去支撐數(shù)據(jù)中臺(tái)？

目標(biāo)：

1、了解大數(shù)據(jù)技術(shù)的運(yùn)行原理，理解大數(shù)據(jù)為什么能夠高效處理海量數(shù)據(jù)

2、掌握大數(shù)據(jù)有哪些豐富的技術(shù)，如何支撐數(shù)據(jù)中臺(tái)的各個(gè)層次的應(yīng)用

3、掌握大數(shù)據(jù)技術(shù)中臺(tái)的建設(shè)思路，如何封裝技術(shù)框架、支撐業(yè)務(wù)應(yīng)用

內(nèi)容：

1、傳統(tǒng)關(guān)系型數(shù)據(jù)庫的設(shè)計(jì)局限

1）數(shù)據(jù)量

2）計(jì)算能力

3）數(shù)據(jù)復(fù)雜性

2、分布式大數(shù)據(jù)的設(shè)計(jì)理念

1）分布式并行計(jì)算

2）移動(dòng)計(jì)算而不是移動(dòng)數(shù)據(jù)

3）分布式計(jì)算發(fā)展歷程與未來趨勢

3、大數(shù)據(jù)技術(shù)及其生態(tài)圈

1）Hadoop核心組件：MapReduce，HDFS

2）并行計(jì)算框架：Spark vs. MapReduce

3）在線查詢：HBase與Impala

4）流式計(jì)算：Flink vs. Spark Stream

5）文本索引：Solr vs. ElasticSearch

6）Zookeeper與高可靠架構(gòu)

7）Kafka分布式隊(duì)列與日志收集

8）數(shù)據(jù)挖掘工具：Mahout、SparkR與Spark ML

4、數(shù)據(jù)中臺(tái)的大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)

1）數(shù)據(jù)中臺(tái)的大數(shù)據(jù)技術(shù)框架

2）數(shù)據(jù)中臺(tái)的大數(shù)據(jù)關(guān)鍵技術(shù)

a. Hadoop的工作原理與HDFS

b. Spark的工作原理與分布式內(nèi)存計(jì)算

3）數(shù)據(jù)中臺(tái)的大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)

a.將技術(shù)框架與業(yè)務(wù)應(yīng)用解耦

b.抽象共性、降本增效的思想方法

c.業(yè)務(wù)層、基礎(chǔ)層與技術(shù)層的建設(shè)思路

第三講 數(shù)據(jù)中臺(tái)建設(shè)（數(shù)據(jù)治理篇）

本節(jié)要點(diǎn)：

在數(shù)據(jù)中臺(tái)建設(shè)中，數(shù)據(jù)治理起到及其重要的作用，可以有效地進(jìn)行數(shù)據(jù)質(zhì)量管理，為后續(xù)的數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。在本節(jié)課程中，老師詳細(xì)拆解，多樣化地采集數(shù)據(jù)，設(shè)計(jì)ETL過程，進(jìn)行數(shù)據(jù)質(zhì)量管理，運(yùn)用大數(shù)據(jù)技術(shù)構(gòu)建數(shù)據(jù)倉庫。

目標(biāo)：

1、掌握大數(shù)據(jù)技術(shù)結(jié)構(gòu)化與非結(jié)構(gòu)化的數(shù)據(jù)采集

2、掌握數(shù)據(jù)中臺(tái)的ETL過程與數(shù)據(jù)倉庫建設(shè)實(shí)踐

3、如何運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程與數(shù)據(jù)倉庫建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺(tái)中數(shù)據(jù)采集功能的建設(shè)思路

1）結(jié)構(gòu)化數(shù)據(jù)采集（Sqoop框架）及其案例實(shí)戰(zhàn)

a. Sqoop數(shù)據(jù)導(dǎo)入設(shè)計(jì)實(shí)戰(zhàn)

b. Sqoop數(shù)據(jù)導(dǎo)出設(shè)計(jì)實(shí)戰(zhàn)

c. Sqoop在大數(shù)據(jù)技術(shù)中臺(tái)中的設(shè)計(jì)思路

2）非結(jié)構(gòu)化數(shù)據(jù)采集（flume+kafka+spark streaming）及其案例實(shí)戰(zhàn)

a. flume+kafka+spark streaming的設(shè)計(jì)原理

b.用戶行為分析的應(yīng)用實(shí)戰(zhàn)

2、數(shù)據(jù)中臺(tái)中的數(shù)據(jù)質(zhì)量管理與數(shù)據(jù)倉庫

1） ETL過程中數(shù)據(jù)清洗、轉(zhuǎn)換、集成及其應(yīng)用實(shí)戰(zhàn)

2）運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行ETL過程的應(yīng)用實(shí)戰(zhàn)

a. Spark+Hive的設(shè)計(jì)原理與實(shí)戰(zhàn)

b. Spark+Hive在大數(shù)據(jù)技術(shù)中臺(tái)中的設(shè)計(jì)思路

3）多維數(shù)據(jù)模型與數(shù)據(jù)倉庫建設(shè)

a. 多維數(shù)據(jù)模型的概念及其應(yīng)用實(shí)踐

b. 雪花模型、星形模型與主題域模型的建設(shè)過程

c. 分享在數(shù)據(jù)倉庫建設(shè)上遇到的那些“坑”及其解決思路

3、數(shù)據(jù)中臺(tái)的質(zhì)量體系建設(shè)

1）數(shù)據(jù)體系規(guī)劃：原始數(shù)據(jù)層、數(shù)據(jù)倉庫層、數(shù)據(jù)集市層

2）數(shù)據(jù)資產(chǎn)管理：資產(chǎn)規(guī)劃、數(shù)據(jù)治理、標(biāo)簽管理

3）數(shù)據(jù)質(zhì)量管理：元數(shù)據(jù)管理、數(shù)據(jù)血緣管理

4）數(shù)據(jù)倉庫建設(shè)：多維數(shù)據(jù)建模、事實(shí)表、維度表、聚合表

第四講 數(shù)據(jù)中臺(tái)建設(shè)（數(shù)據(jù)應(yīng)用篇）

本節(jié)要點(diǎn)：

數(shù)據(jù)中臺(tái)建設(shè)的核心就是數(shù)據(jù)驅(qū)動(dòng)，也就是以數(shù)據(jù)價(jià)值變現(xiàn)為核心，思考如何挖掘數(shù)據(jù)價(jià)值、設(shè)計(jì)數(shù)據(jù)產(chǎn)品、形成數(shù)據(jù)應(yīng)用，甚至是智能應(yīng)用。老師將通過一大波的應(yīng)用案例，帶領(lǐng)大家去探尋數(shù)據(jù)應(yīng)用的神奇世界，挖掘數(shù)據(jù)應(yīng)用世界的神奇寶藏，以及挖掘這些寶藏的金鑰匙（思路與方法）

目標(biāo)：

1、掌握數(shù)據(jù)價(jià)值變現(xiàn)的常見方法（可視化、風(fēng)控、推薦、人工智能等）

2、掌握基于數(shù)據(jù)集市的數(shù)據(jù)建模過程（經(jīng)驗(yàn)?zāi)Ｐ汀?shù)據(jù)模型）

3、掌握如何將數(shù)據(jù)應(yīng)用落地到大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)

內(nèi)容：

1、數(shù)據(jù)中臺(tái)的核心是數(shù)據(jù)價(jià)值變現(xiàn)

1）數(shù)據(jù)可視化

案例：網(wǎng)絡(luò)運(yùn)營商大數(shù)據(jù)監(jiān)控系統(tǒng)建設(shè)過程

2）數(shù)據(jù)風(fēng)控

案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)建設(shè)過程

3）數(shù)字化運(yùn)營

案例：用戶行為分析與數(shù)字化運(yùn)營的建設(shè)過程

4）數(shù)據(jù)挖掘與人工智能

案例：遠(yuǎn)程智慧醫(yī)療平臺(tái)的人工智能建設(shè)過程

2、數(shù)據(jù)集市的系統(tǒng)建設(shè)與數(shù)據(jù)標(biāo)簽

1）數(shù)據(jù)集市的概念與應(yīng)用舉例

案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)的數(shù)據(jù)集市應(yīng)用

2）數(shù)據(jù)血緣管理的概念及其設(shè)計(jì)

a. 數(shù)據(jù)血緣管理在數(shù)據(jù)質(zhì)量管理中的重要作用

b. 數(shù)據(jù)血緣管理的相關(guān)設(shè)計(jì)及其實(shí)踐

3）數(shù)據(jù)標(biāo)簽的分析設(shè)計(jì)與開發(fā)

a. 數(shù)據(jù)標(biāo)簽的類型與在數(shù)據(jù)分析中的作用

b. 數(shù)據(jù)標(biāo)簽融合表及其設(shè)計(jì)實(shí)踐

第五講 數(shù)據(jù)中臺(tái)建設(shè)（數(shù)據(jù)服務(wù)篇）

本節(jié)要點(diǎn)：

數(shù)據(jù)中臺(tái)經(jīng)過一系列的分析處理之后，最終要對外提供數(shù)據(jù)服務(wù)才能價(jià)值變現(xiàn)。數(shù)據(jù)展現(xiàn)與數(shù)據(jù)服務(wù)是價(jià)值變現(xiàn)的最后一步，是用戶對產(chǎn)品質(zhì)量最直觀的感受。因此，數(shù)據(jù)服務(wù)需要提供良好的用戶體驗(yàn)，就需要數(shù)據(jù)服務(wù)“快、準(zhǔn)、美”。

目標(biāo)：

1、掌握在海量數(shù)據(jù)中離線分析、在線分析與近線分析的設(shè)計(jì)思路

2、掌握在海量數(shù)據(jù)中秒級查詢的設(shè)計(jì)思路（數(shù)據(jù)索引）與實(shí)踐

3、理解打造支持快速數(shù)據(jù)分析展現(xiàn)的大數(shù)據(jù)技術(shù)中臺(tái)建設(shè)思路

內(nèi)容：

1、海量數(shù)據(jù)的離線分析、在線分析與近線分析

1）離線分析的概念與設(shè)計(jì)實(shí)踐

案例：稅務(wù)系統(tǒng)虛開發(fā)票風(fēng)險(xiǎn)監(jiān)控系統(tǒng)的風(fēng)險(xiǎn)數(shù)據(jù)離線分析

2）在線分析的概念與設(shè)計(jì)實(shí)踐

案例：網(wǎng)絡(luò)運(yùn)營商大數(shù)據(jù)監(jiān)控系統(tǒng)的實(shí)時(shí)流量監(jiān)控

3）近線分析的概念與設(shè)計(jì)實(shí)踐

案例：用戶行為分析與數(shù)字化運(yùn)營的分析設(shè)計(jì)過程

2、海量數(shù)據(jù)的秒級查詢的設(shè)計(jì)實(shí)現(xiàn)

1）分布式NoSQL數(shù)據(jù)庫的設(shè)計(jì)實(shí)踐

a. 傳統(tǒng)關(guān)系型數(shù)據(jù)庫的局限與NoSQL數(shù)據(jù)庫

b. MongoDB的工作原理與設(shè)計(jì)實(shí)踐

c. HBase的工作原理與設(shè)計(jì)實(shí)踐

2）分布式索引ElasticSearch的設(shè)計(jì)實(shí)踐

a. ElasticSearch的工作原理與設(shè)計(jì)實(shí)踐

b. ElasticSearch的優(yōu)化與在技術(shù)中臺(tái)中的設(shè)計(jì)思路

3）分布式MOLAP框架Kylin的設(shè)計(jì)實(shí)踐

a. Kylin的工作原理與設(shè)計(jì)實(shí)踐

b. Kylin的降維設(shè)計(jì)與性能優(yōu)化

3、海量數(shù)據(jù)的數(shù)據(jù)服務(wù)與數(shù)據(jù)共享

1）大數(shù)據(jù)分析報(bào)表系統(tǒng)的技術(shù)中臺(tái)建設(shè)思路

2）大數(shù)據(jù)服務(wù)共享平臺(tái)的技術(shù)架構(gòu)與建設(shè)思路

范老師

航天信息前首席架構(gòu)師，暢銷書籍《大話重構(gòu)》作者，規(guī)模化敏捷SPC，軟件架構(gòu)及重構(gòu)的客座講師，獨(dú)立咨詢顧問。先后參與了數(shù)十個(gè)國內(nèi)大型軟件項(xiàng)目，涉及國家財(cái)政、軍工、稅務(wù)、醫(yī)療等領(lǐng)域的大數(shù)據(jù)建設(shè)、風(fēng)險(xiǎn)防控與人工智能研究，互聯(lián)網(wǎng)及大數(shù)據(jù)轉(zhuǎn)型的實(shí)踐者與倡導(dǎo)者。

我要報(bào)名

在線報(bào)名：數(shù)據(jù)中臺(tái)與大數(shù)據(jù)建設(shè)的方法與實(shí)踐(上海)