大數據平臺搭建與高性能計算最佳實戰

課程詳情

第一天

上午

■大數據技術基礎

1.大數據的產生背景與發展歷程

2.大數據的4V特征，以及與云計算的關系

3.大數據應用需求以及潛在價值分析

4.業界最新的大數據技術發展態勢與應用趨勢

5.大數據思維的轉變

6.大數據項目的系統與技術選型，及落地實施的挑戰

7.互聯網+時代下的電子商務、制造業、交通行業、電信運營商、銀行金融業、電子政務、移動互聯網、教育信息化等行業應用實踐與應用案例介紹

■業界主流的大數據技術方案

1.大數據軟硬件系統全棧與關鍵技術介紹

2.大數據生態系統全景圖

3.主流的大數據解決方案介紹

4.Apache大數據平臺方案剖析

5.CDH大數據平臺方案剖析

6.HDP大數據平臺方案剖析

7.基于云的大數據平臺方案剖析

8.大數據解決方案與傳統數據庫方案比較

9.國內外大數據平臺方案與廠商對比

■大數據計算模型（一）批處理MapReduce

1.MapReduce產生背景與適用場景

2.MapReduce計算模型的基本原理

3.MapReduce作業執行流程

4.MapReduce基本組件，JobTracker和TaskTracker

5.MapReduce高級編程應用，Combiner和Partitioner

6.MapReduce性能優化技巧

7.MapReduce案例分析與開發實踐操作

第一天

下午

■大數據存儲系統與應用實踐

1.分布式文件系統HDFS產生背景與適用場景

2.HDFS master-slave系統架構與讀寫工作原理

3.HDFS核心組件技術講解，NameNode與fsimage、editslog，DataNode與數據塊

4.HDFS Federation機制，viewfs機制，使用場景講解

5.HDFS高可用保證機制，SecondaryNameNode，NFS冷備份，基于zookeeper的HA方案

■大數據實戰練習一

1. Hadoop平臺搭建、部署與應用實踐，包含HDFS分布式文件系統，YARN資源管理軟件，MapReduce計算框架軟件

2. HDFS shell命令操作

3. MapReduce程序在YARN上運行

第二天

上午

■Hadoop框架與生態發展，以及應用實踐操作

1.Hadoop的發展歷程

2.Hadoop 1.0的核心組件JobTracker，TaskTracker，以及適用范圍

3.Hadoop 2.0的核心組件YARN工作原理，以及與Hadoop 1.0的聯系與區別

4.Hadoop YARN的資源管理與作業調度機制

5.Hadoop 常用性能優化技術

■大數據計算模型（二）實時處理/內存計算 Spark

■1.MapReduce計算模型的瓶頸

2.Spark產生動機、基本概念與適用場景

3.Spark編程模型與RDD彈性分布式數據集的工作原理與機制

4.Spark實時處理平臺運行架構與核心組件

5.Spark寬、窄依賴關系與DAG圖分析

6.Spark容錯機制

7.Spark作業調度機制

8.Spark standardalone，Spark on YARN運行模式

9.Scala開發介紹與Spark常用Transformation函數介紹

第二天

下午

■大數據倉庫查詢技術Hive、SparkSQL、Impala，以及應用實踐

1.基于MapReduce的大型分布式數據倉庫Hive基礎知識與應用場景

2.Hive數據倉庫的平臺架構與核心技術剖析

3.Hive metastore的工作機制與應用

4.Hive 分區、分桶機制，Hive行、列存儲格式

5.基于Spark的大型分布式數據倉庫SparkSQL基礎知識與應用場景

6.Spark SQL實時數據倉庫的實現原理與工作機制

7.SparkSQL程序開發與DataFrame機制介紹

8.基于MPP的大型分布式數據倉庫Impala基礎知識與應用場景

9.Impala實時查詢系統平臺架構、關鍵技術介紹，以及與Hive，SparkSQL的對比

■Hadoop集群運維監控工具

1.Hadoop運維管理監控系統Ambari工具介紹

2. 第三方運維系統與工具Ganglia, Nagios

■大數據實戰練習二

1.基于 Hadoop平臺搭建、部署與配置Spark集群，Spark shell環境實踐，Spark案例程序分析，Spark程序開發與運行

2. 基于MapReduce的Hive數據倉庫實踐，Hive集群安裝部署，基于文件的Hive數據倉庫表導入導出與分區操作，Hive SQL操作，Hive客戶端操作

3. 基于Hive的SparkSQL shell實踐操作

第三天

上午

■大數據計算模型（三）流處理Storm, SparkStreaming

■1.流數據處理應用場景與流數據處理的特點

2.流數據處理工具Storm的平臺架構與集群工作原理

3.Storm關鍵技術與并發機制

4.Storm編程模型與基本開發模式

5.Storm數據流分組

6.Storm可靠性保證與Acker機制

7.Storm應用案例分析

8.流數據處理工具Spark Streaming基本概念與數據模型

9.SparkStreaming工作機制

10.SparkStreaming程序開發介紹

11.Storm與SparkStreaming的對比

第三天

下午

■大數據ETL操作工具，與大數據分布式采集系統

1.Hadoop與DBMS之間數據交互工具的應用

2.Sqoop導入導出數據的工作原理

3.Flume-NG數據采集系統的數據流模型與系統架構

4.Kafka分布式消息訂閱系統的應用介紹與平臺架構，及其使用模式

■面向OLTP型應用的NoSQL數據庫及應用實踐

1.關系型數據庫瓶頸，以及NoSQL數據庫的發展，概念，分類，及其在半結構化和非結構化數據場景下的適用范圍

2.列存儲NoSQL數據庫HBase簡介與數據模型剖析

3.HBase分布式集群系統架構與讀寫機制，ZooKeeper分布式協調服務系統的工作原理與應用

4.HBase表設計模式與primary key設計規范

5.文檔NoSQL數據庫MongoDB簡介與數據模型剖析

6.MongoDB集群模式、讀寫機制與常用API操作

8.鍵值型NoSQL數據庫Redis簡介與數據模型剖析

9.Redis多實例集群架構與關鍵技術

10.NewSQL數據庫技術簡介及其適用場景

■大數據實戰練習三

1.Sqoop安裝、部署與配置，基于Sqoop、MySQL與Hive操作MySQL數據庫與Hive數據倉庫數據導入導出

2.Kafka安裝、部署與配置，基于Kafka創建和消費topic實踐操作

3.Flume+HDFS+MapReduce/Spark大數據采集、存儲與分析實踐操作

■大數據項目選型、實施、優化等問題交流討論

■大數據項目的需求分析、應用實施、系統優化，以及解決方案等咨詢與交流討論

第四天

■學習考核與業內經驗交流

講師介紹

蔣老師,資深講師。清華大學博士，云計算專家 熟悉主流的云計算平臺，并有商業與開源云計算平臺的實踐經驗,對云計算關鍵技術有深刻了解和實踐經驗，如分布式系統、虛擬化、分布式文件系統、云存儲等，參與并領導多個大型云計算項目。對大數據關鍵技術有深刻了解和實踐經驗，如NoSQL數據庫、大數據處理、Hadoop、Hive、HBase、Spark等。

趙老師,資深講師。清華大學計算機雙學士，甲骨文(中國)軟件系統有限公司高級技術顧問，大數據、數據庫、中間件技術和Java專家。15年IT行業從業經歷，10年培訓授課經驗。具有豐富的大數據方法論、數據科學、大數據生態圈技術知識和大數據規劃建設、應用實施和客戶培訓經驗。

張老師,資深講師。天津大學軟件工程碩士，10多年的IT領域相關技術研究和項目開發工作，在長期軟件領域工作過程中，對軟件企業運作模式有深入研究，熟悉軟件質量保障標準ISO9003和軟件過程改進模型CMM/CMMI，在具體項目實施過程中總結經驗，有深刻認識。通曉多種軟件設計和開發工具。對軟件開發整個流程非常熟悉，能根據項目特點定制具體軟件過程，并進行項目管理和監控，有很強的軟件項目組織管理能力。對C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大數據、云計算有比較深入的理解和應用，具有較強的移動互聯網應用需求分析和系統設計能力，熟悉Android框架、IOS框架等技術，了解各種設計模式，能在具體項目中靈活運用。