離線數(shù)據(jù)分析平臺(tái)Hadoop

　　課程內(nèi)容：

　　1、初識(shí)Hadoop以及Hadoop生態(tài)系統(tǒng)、Hadoop的發(fā)展史、Hadoop的優(yōu)缺點(diǎn)、Hadoop的核心組件、Hadoop發(fā)行版的選擇；Hadoop環(huán)境搭建，Hadoopshell命令;

　　2、Hadoop分布式文件系統(tǒng)HDFS、Hadoop的設(shè)計(jì)目標(biāo)、架構(gòu)及副本的腳本，搭建單節(jié)點(diǎn)偽分布式HDFS的實(shí)驗(yàn)環(huán)境；使用hdfsshell以及JavaAPI的方式操作HDFS文件系統(tǒng)；解析HDFS文件的讀寫(xiě)流程;

　　3、分布式計(jì)算框架MapReduce；MapReduce應(yīng)用程序的開(kāi)發(fā)、配置JobHistoryServer;

　　4、HadoopHA高可用集群搭建和配置;

　　5、數(shù)據(jù)倉(cāng)庫(kù)Hive的安裝和使用、分桶作用、創(chuàng)建點(diǎn)擊流數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)、點(diǎn)擊流數(shù)據(jù)分析（HiveSql）;

　　6、Flume分布式日志框架、點(diǎn)擊流日志系統(tǒng)解決方案、點(diǎn)擊流日志系統(tǒng)部署及電商項(xiàng)目集成、Hadoop分布式集群搭建；搭建一個(gè)多節(jié)點(diǎn)的分布式Hadoop集群環(huán)境；Hadoop集成Spring的使用;

　　7、數(shù)據(jù)遷移工具Sqoop、HADOOP(Hive)與傳統(tǒng)的數(shù)據(jù)庫(kù)(mysql、postgresql...)間進(jìn)行數(shù)據(jù)的傳遞;

　　8、HBase基礎(chǔ)、面向列的實(shí)時(shí)分布式數(shù)據(jù)庫(kù)、HBase與RDBMS的對(duì)比、HBase集群及其管理;

　　9、分布式資源調(diào)度YARN；YARN的產(chǎn)生背景、YARN的架構(gòu)及執(zhí)行流程；搭建單節(jié)點(diǎn)偽分布式Y(jié)ARN的實(shí)驗(yàn)環(huán)境;