你的位置: 首頁 > 公開課首頁 > 職業技能 > 課程詳情

details

大數據平臺搭建與高性能計算最佳實戰

暫無評價   
  • 開課時間:2019年07月23日 09:00 周二 已結束
  • 結束時間:2019年07月26日 17:00 周五
  • 開課地點:青島市
  • 授課講師: 蔣老師
  • 課程編號:386102
  • 課程分類:職業技能
  •  
  • 收藏 人氣:38
你實際購買的價格
付款時最多可用0淘幣抵扣0元現金
購買成功后,系統會給用戶帳號返回的現金券
淘課價格
5800
可用淘幣
0
返現金券
待定

你還可以: 收藏

課程大綱:

課程詳情

第一天

上午

■大數據技術基礎

1.大數據的產生背景與發展歷程

2.大數據的4V特征,以及與云計算的關系

3.大數據應用需求以及潛在價值分析

4.業界最新的大數據技術發展態勢與應用趨勢

5.大數據思維的轉變

6.大數據項目的系統與技術選型,及落地實施的挑戰

7.互聯網+時代下的電子商務、制造業、交通行業、電信運營商、銀行金融業、電子政務、移動互聯網、教育信息化等行業應用實踐與應用案例介紹

■業界主流的大數據技術方案

1.大數據軟硬件系統全棧與關鍵技術介紹

2.大數據生態系統全景圖

3.主流的大數據解決方案介紹

4.Apache大數據平臺方案剖析

5.CDH大數據平臺方案剖析

6.HDP大數據平臺方案剖析

7.基于云的大數據平臺方案剖析

8.大數據解決方案與傳統數據庫方案比較

9.國內外大數據平臺方案與廠商對比

■大數據計算模型(一)批處理MapReduce

1.MapReduce產生背景與適用場景

2.MapReduce計算模型的基本原理

3.MapReduce作業執行流程

4.MapReduce基本組件,JobTracker和TaskTracker

5.MapReduce高級編程應用,Combiner和Partitioner

6.MapReduce性能優化技巧

7.MapReduce案例分析與開發實踐操作

第一天

下午

■大數據存儲系統與應用實踐

1.分布式文件系統HDFS產生背景與適用場景

2.HDFS master-slave系統架構與讀寫工作原理

3.HDFS核心組件技術講解,NameNode與fsimage、editslog,DataNode與數據塊

4.HDFS Federation機制,viewfs機制,使用場景講解

5.HDFS高可用保證機制,SecondaryNameNode,NFS冷備份,基于zookeeper的HA方案

■大數據實戰練習一

1. Hadoop平臺搭建、部署與應用實踐,包含HDFS分布式文件系統,YARN資源管理軟件,MapReduce計算框架軟件

2. HDFS shell命令操作

3. MapReduce程序在YARN上運行

第二天

上午

■Hadoop框架與生態發展,以及應用實踐操作

1.Hadoop的發展歷程

2.Hadoop 1.0的核心組件JobTracker,TaskTracker,以及適用范圍

3.Hadoop 2.0的核心組件YARN工作原理,以及與Hadoop 1.0的聯系與區別

4.Hadoop YARN的資源管理與作業調度機制

5.Hadoop 常用性能優化技術

■大數據計算模型(二)實時處理/內存計算 Spark

■1.MapReduce計算模型的瓶頸

2.Spark產生動機、基本概念與適用場景

3.Spark編程模型與RDD彈性分布式數據集的工作原理與機制

4.Spark實時處理平臺運行架構與核心組件

5.Spark寬、窄依賴關系與DAG圖分析

6.Spark容錯機制

7.Spark作業調度機制

8.Spark standardalone,Spark on YARN運行模式

9.Scala開發介紹與Spark常用Transformation函數介紹

第二天

下午

■大數據倉庫查詢技術Hive、SparkSQL、Impala,以及應用實踐

1.基于MapReduce的大型分布式數據倉庫Hive基礎知識與應用場景

2.Hive數據倉庫的平臺架構與核心技術剖析

3.Hive metastore的工作機制與應用

4.Hive 分區、分桶機制,Hive行、列存儲格式

5.基于Spark的大型分布式數據倉庫SparkSQL基礎知識與應用場景

6.Spark SQL實時數據倉庫的實現原理與工作機制

7.SparkSQL程序開發與DataFrame機制介紹

8.基于MPP的大型分布式數據倉庫Impala基礎知識與應用場景

9.Impala實時查詢系統平臺架構、關鍵技術介紹,以及與Hive,SparkSQL的對比

■Hadoop集群運維監控工具

1.Hadoop運維管理監控系統Ambari工具介紹

2. 第三方運維系統與工具Ganglia, Nagios

■大數據實戰練習二

1.基于 Hadoop平臺搭建、部署與配置Spark集群,Spark shell環境實踐,Spark案例程序分析,Spark程序開發與運行

2. 基于MapReduce的Hive數據倉庫實踐,Hive集群安裝部署,基于文件的Hive數據倉庫表導入導出與分區操作,Hive SQL操作,Hive客戶端操作

3. 基于Hive的SparkSQL shell實踐操作

第三天

上午

■大數據計算模型(三)流處理Storm, SparkStreaming

■1.流數據處理應用場景與流數據處理的特點

2.流數據處理工具Storm的平臺架構與集群工作原理

3.Storm關鍵技術與并發機制

4.Storm編程模型與基本開發模式

5.Storm數據流分組

6.Storm可靠性保證與Acker機制

7.Storm應用案例分析

8.流數據處理工具Spark Streaming基本概念與數據模型

9.SparkStreaming工作機制

10.SparkStreaming程序開發介紹

11.Storm與SparkStreaming的對比

第三天

下午

■大數據ETL操作工具,與大數據分布式采集系統

1.Hadoop與DBMS之間數據交互工具的應用

2.Sqoop導入導出數據的工作原理

3.Flume-NG數據采集系統的數據流模型與系統架構

4.Kafka分布式消息訂閱系統的應用介紹與平臺架構,及其使用模式

■面向OLTP型應用的NoSQL數據庫及應用實踐

1.關系型數據庫瓶頸,以及NoSQL數據庫的發展,概念,分類,及其在半結構化和非結構化數據場景下的適用范圍

2.列存儲NoSQL數據庫HBase簡介與數據模型剖析

3.HBase分布式集群系統架構與讀寫機制,ZooKeeper分布式協調服務系統的工作原理與應用

4.HBase表設計模式與primary key設計規范

5.文檔NoSQL數據庫MongoDB簡介與數據模型剖析

6.MongoDB集群模式、讀寫機制與常用API操作

8.鍵值型NoSQL數據庫Redis簡介與數據模型剖析

9.Redis多實例集群架構與關鍵技術

10.NewSQL數據庫技術簡介及其適用場景

■大數據實戰練習三

1.Sqoop安裝、部署與配置,基于Sqoop、MySQL與Hive操作MySQL數據庫與Hive數據倉庫數據導入導出

2.Kafka安裝、部署與配置,基于Kafka創建和消費topic實踐操作

3.Flume+HDFS+MapReduce/Spark大數據采集、存儲與分析實踐操作

■大數據項目選型、實施、優化等問題交流討論

■大數據項目的需求分析、應用實施、系統優化,以及解決方案等咨詢與交流討論

第四天

■學習考核與業內經驗交流

講師介紹

蔣老師,資深講師。清華大學博士,云計算專家 熟悉主流的云計算平臺,并有商業與開源云計算平臺的實踐經驗,對云計算關鍵技術有深刻了解和實踐經驗,如分布式系統、虛擬化、分布式文件系統、云存儲等,參與并領導多個大型云計算項目。對大數據關鍵技術有深刻了解和實踐經驗,如NoSQL數據庫、大數據處理、Hadoop、Hive、HBase、Spark等。


趙老師,資深講師。清華大學計算機雙學士,甲骨文(中國)軟件系統有限公司高級技術顧問,大數據、數據庫、中間件技術和Java專家。15年IT行業從業經歷,10年培訓授課經驗。具有豐富的大數據方法論、數據科學、大數據生態圈技術知識和大數據規劃建設、應用實施和客戶培訓經驗。


張老師,資深講師。天津大學軟件工程碩士,10多年的IT領域相關技術研究和項目開發工作,在長期軟件領域工作過程中,對軟件企業運作模式有深入研究,熟悉軟件質量保障標準ISO9003和軟件過程改進模型CMM/CMMI,在具體項目實施過程中總結經驗,有深刻認識。通曉多種軟件設計和開發工具。對軟件開發整個流程非常熟悉,能根據項目特點定制具體軟件過程,并進行項目管理和監控,有很強的軟件項目組織管理能力。對C/C++ 、HTML 5、python、Hadoop、java、java EE、android、IOS、大數據、云計算有比較深入的理解和應用,具有較強的移動互聯網應用需求分析和系統設計能力,熟悉Android框架、IOS框架等技術,了解各種設計模式,能在具體項目中靈活運用。


本課程名稱: 大數據平臺搭建與高性能計算最佳實戰

查看更多:職業技能公開課

設計 相關的最新課程
講師動態評分 與同行相比

授課內容與課綱相符00%

講師授課水平00%

服務態度00%

陕西11选5开奖