課程描述INTRODUCTION
大數(shù)據(jù)培訓(xùn):Hadoop應(yīng)用與開(kāi)發(fā)高級(jí)工程師
![](/Common/new/images/tb3_1.jpg)
![](/Common/new/images/tb3_2.jpg)
![](/Common/new/images/tb3_3.jpg)
日程安排SCHEDULE
課程大綱Syllabus
模塊一大數(shù)據(jù)介紹帶來(lái)的機(jī)遇和挑戰(zhàn)
1)大數(shù)據(jù)概念的發(fā)展與解析
2)大數(shù)據(jù)在國(guó)內(nèi)外發(fā)展現(xiàn)狀
3)大數(shù)據(jù)在互聯(lián)網(wǎng)發(fā)展現(xiàn)狀
4)大數(shù)據(jù)四個(gè)特點(diǎn)分析
大數(shù)據(jù)帶來(lái)的機(jī)遇和挑戰(zhàn)
1)大數(shù)據(jù)能帶來(lái)什么、引領(lǐng)社會(huì)進(jìn)入“大數(shù)據(jù)時(shí)代”
2)大數(shù)據(jù)對(duì)國(guó)家、社會(huì)的作用、大數(shù)據(jù)將推動(dòng)經(jīng)濟(jì)發(fā)展
3)大數(shù)據(jù)將推動(dòng)科技發(fā)展進(jìn)程、開(kāi)啟商業(yè)智能新階段
4)數(shù)據(jù)分析的發(fā)展——從數(shù)據(jù)到知識(shí)大數(shù)據(jù)如何讓商業(yè)更智能、大數(shù)據(jù)應(yīng)用案例
5)帶來(lái)數(shù)據(jù)處理新變革、大數(shù)據(jù)的關(guān)鍵技術(shù)
6)大數(shù)據(jù)與云計(jì)算、大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)精彩案例
電信手機(jī)上網(wǎng)日志分析
移動(dòng)GPRS上網(wǎng)日志查詢(xún)系統(tǒng)
某省份聯(lián)通網(wǎng)絡(luò)不良信息檢測(cè)系統(tǒng)
國(guó)土資源部門(mén)下屬單位非結(jié)構(gòu)離線網(wǎng)格分析平臺(tái)
某銀行海量數(shù)據(jù)統(tǒng)一分析平臺(tái)
某電信用戶(hù)屬性精分系統(tǒng)
某銀行實(shí)時(shí)計(jì)算平臺(tái)
某電力電臺(tái)電視節(jié)目推薦系統(tǒng)
模塊二Hadoop在云計(jì)算技術(shù)的作用和地位傳統(tǒng)大規(guī)模系統(tǒng)存在的問(wèn)題
Hadoop概述
Hadoop分布式文件系統(tǒng)
MapRedce工作原理
Hadoop集群剖析
Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求
Hadoop的行業(yè)應(yīng)用案例分析
Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系數(shù)據(jù)開(kāi)放,數(shù)據(jù)云服務(wù)平臺(tái)(DAAS)時(shí)代
Hadoop平臺(tái)在數(shù)據(jù)云平臺(tái)(DAAS)上的天然優(yōu)勢(shì)。
數(shù)據(jù)云平臺(tái)(DAAS平臺(tái))組成部分
互聯(lián)網(wǎng)公共數(shù)據(jù)大云(DAAS)案例
Hadoop構(gòu)建構(gòu)建游戲云(WebGameDaas)平臺(tái)
模塊三Hadoop生態(tài)系統(tǒng)介紹和演示HadoopHDFS和MapRedce
Hadoop數(shù)據(jù)庫(kù)之Hbase
Hadoop數(shù)據(jù)倉(cāng)庫(kù)之Hive
Hadoop數(shù)據(jù)處理腳本Pig
Hadoop數(shù)據(jù)接口Sqoop和Flme,ScribeDataX
Hadoop工作流引擎Oozie運(yùn)用Hadoop自下而上構(gòu)建大規(guī)模企業(yè)數(shù)據(jù)倉(cāng)庫(kù)
暴風(fēng)影音數(shù)據(jù)倉(cāng)庫(kù)實(shí)戰(zhàn)解析
模塊四Hadoop組件詳解HadoopHDFS基本結(jié)構(gòu)
HadoopHDFS副本存放策略
HadoopNameNode詳解
HadoopSecondaryNameNode詳解
HadoopDataNode詳解
HadoopJobTracker詳解
HadoopTaskTracker詳解HadoopMapper類(lèi)核心代碼
HadoopRedce類(lèi)核心代碼
Hadoop核心代碼
模塊五Hadoop安裝和部署Hadoop系統(tǒng)模塊組件概述
Hadoop試驗(yàn)集群的部署結(jié)構(gòu)
Hadoop安裝依賴(lài)關(guān)系
Hadoop生產(chǎn)環(huán)境的部署結(jié)構(gòu)
Hadoop集群部署
Hadoop高可用配置方法
Hadoop集群簡(jiǎn)單測(cè)試方法
Hadoop集群異常Debg方法Hadoop安裝部署實(shí)驗(yàn)
RedhatLinx基礎(chǔ)環(huán)境搭建
Hadoop單機(jī)系統(tǒng)版本安裝配置
Hadoop集群系統(tǒng)版本安裝和啟動(dòng)配置
使用HadoopMapRedceStreaming快速測(cè)試系統(tǒng)
Hadoopcore-site,hdfs-site,mapred-site配置詳解
模塊六Hadoop集群規(guī)劃Hadoop集群內(nèi)存要求
Hadoop集群磁盤(pán)分區(qū)
集群和網(wǎng)絡(luò)拓?fù)湟?br />
集群軟件的端口配置針對(duì)NameNodeJobtrackerDataNodeTaskTrackerHiveserver等不同組件需求推薦服務(wù)器配置
模塊七M(jìn)apRedce算法原理HadoopMapRedce算法的原理和優(yōu)化思想
靈活運(yùn)用MapRedce實(shí)現(xiàn)算法運(yùn)用MapRedce構(gòu)建數(shù)據(jù)庫(kù)算法
SelectSortGrogBySmCont
Join新進(jìn)流失算法
使用Y-Smart快速轉(zhuǎn)換SQL為MapRedce代碼
模塊八編寫(xiě)MapRedce高級(jí)程序使用HadoopMapRedceStreaming編程
MapRedce流程
剖析一個(gè)MapRedce程序
基本MapRedceAPI概念
驅(qū)動(dòng)代碼Mapper、Redcer
Hadoop流
API使用Eclipse進(jìn)行快速開(kāi)發(fā)
新MapRedceAPI
MapRedce的優(yōu)化
MapRedce的任務(wù)調(diào)度
MapRedce編程實(shí)戰(zhàn)
如何利用其他Hadoop相關(guān)技術(shù),包括ApacheHive,ApachePig,Sqoop和Oozie等
滿(mǎn)足解決實(shí)際數(shù)據(jù)分析問(wèn)題的高級(jí)HadoopAPIHadoopStreaming和JavaMapRedceApi差異。
MapRedce實(shí)現(xiàn)數(shù)據(jù)庫(kù)功能
利用Combiners來(lái)減少中間數(shù)據(jù)
編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
直接訪問(wèn)Hadoop分布式文件系統(tǒng)(HDFS)
Hadoop的join操作
輔助排序在Redcer方的合并
定制Writables和WritableComparables
使用SeqenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù)
創(chuàng)建InptFormatsOtptFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并
模塊九集成Hadoop到現(xiàn)有工作流
及HadoopAPI深入探討存儲(chǔ)系統(tǒng)
利用Sqoop從關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoop
利用Flme導(dǎo)入實(shí)時(shí)數(shù)據(jù)到Hadoop
ToolRnner介紹、使用MRnit進(jìn)行測(cè)試
使用Configre和Close方法來(lái)進(jìn)行Map/Redce設(shè)置和關(guān)閉使用FseDFS和Hadoop訪問(wèn)HDFS
使用分布式緩存(DistribtedCache)
直接訪問(wèn)Hadoop分布式文件系統(tǒng)(HDFS)
利用Combiners來(lái)減少中間數(shù)據(jù)
編寫(xiě)Partitioner來(lái)優(yōu)化負(fù)載平衡
模塊十使用Hive和Pig開(kāi)發(fā)及技巧Hive和Pig基礎(chǔ)
Hive的作用和原理說(shuō)明
Hadoop倉(cāng)庫(kù)和傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的協(xié)作關(guān)系
Hadoop/Hive倉(cāng)庫(kù)數(shù)據(jù)數(shù)據(jù)流
Hive部署和安裝
HiveCli的基本用法
HQL基本語(yǔ)法
運(yùn)用Pig過(guò)濾用戶(hù)數(shù)據(jù)使用JDBC連接Hive進(jìn)行查詢(xún)和分析
使用正則表達(dá)式加載數(shù)據(jù)
HQL高級(jí)語(yǔ)法
編寫(xiě)DF函數(shù)
編寫(xiě)DAF自定義函數(shù)
基于Hive腳本內(nèi)嵌Streaming編程
模塊十一Hbase安裝和使用Hbase安裝部署
Hbase原理和結(jié)構(gòu)
Hbase運(yùn)維和管理使用Hbase+Hive提供OLAPSQL查詢(xún)能力
使用Hbase+Phoenix提供OLTPSQL能力
基于Hbase的時(shí)間序列數(shù)據(jù)庫(kù)OpenTsDb結(jié)構(gòu)解析
模塊十二Hadoop2.0集群探索Hadoop2.0HDFS原理
Hadoop2.0Yarn原理
Hadoop2.0生態(tài)系統(tǒng)基于Hadoop2.0構(gòu)建分布式系統(tǒng)
模塊十三Hadoop企業(yè)級(jí)別案例解析Hadoop結(jié)構(gòu)化數(shù)據(jù)案例
Hadoop非結(jié)構(gòu)化案例
Hbase數(shù)據(jù)庫(kù)案例
Hadoop視頻分析案例利用大數(shù)據(jù)分析改進(jìn)交通管理
區(qū)域醫(yī)療大數(shù)據(jù)應(yīng)用案例
銀聯(lián)大數(shù)據(jù)數(shù)據(jù)票據(jù)詳單平臺(tái)
某銀行大數(shù)據(jù)Spark應(yīng)用案例詳解
某證券公司大數(shù)據(jù)案例介紹
廣東移動(dòng)省公司請(qǐng)賬單系統(tǒng)
上海電信網(wǎng)絡(luò)優(yōu)化
某通信運(yùn)營(yíng)商全國(guó)用戶(hù)上網(wǎng)記錄
浙江臺(tái)州市智能交通系統(tǒng)
移動(dòng)廣州詳單實(shí)時(shí)查詢(xún)系統(tǒng)
跨區(qū)域?qū)崟r(shí)視頻監(jiān)控系統(tǒng)
電信大數(shù)據(jù)案例介紹:
基于社交網(wǎng)絡(luò)的*營(yíng)銷(xiāo)和客戶(hù)維系
基于信令分析用戶(hù)的移動(dòng)軌跡
基站規(guī)劃和動(dòng)態(tài)優(yōu)化
智慧城市交通
流量分析
上海聯(lián)通大數(shù)據(jù)開(kāi)放變現(xiàn)的實(shí)現(xiàn)案例介紹
模塊十四RedHadoop企業(yè)版本運(yùn)用RedHadoop快速構(gòu)建服務(wù)集群
運(yùn)用RedHadoopDW構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)基于RedHadoopHive構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)
靈活運(yùn)用Hive加速游戲數(shù)據(jù)倉(cāng)庫(kù)
基于Pig+OpenCV大規(guī)模圖像人臉識(shí)別
模塊十五Spark原理和入門(mén)Spark原理;Spark的架構(gòu)圖;Spark運(yùn)行模式介紹
—local;—standalone;—messos;—yarn;Spark的RDD
什么是RDD;RDD的種類(lèi);—Tranformation;—Action
Spark的存儲(chǔ)級(jí)別;Cache介紹;Spark的容錯(cuò)原理
Lineage容錯(cuò);Checkpoint容錯(cuò);RDD的創(chuàng)建
案例—統(tǒng)計(jì)單詞的個(gè)數(shù)
模塊十六互聯(lián)網(wǎng)大數(shù)據(jù)應(yīng)用案例根阿里的ODPS大數(shù)據(jù)平臺(tái)架構(gòu)介紹
阿里的實(shí)時(shí)推薦架構(gòu)
阿里的交叉營(yíng)銷(xiāo)系統(tǒng)
阿里支付寶交易監(jiān)控系統(tǒng)
支付寶微貸案例分析(互聯(lián)網(wǎng)征信系統(tǒng))
京東打白條系統(tǒng)分析
百度預(yù)測(cè)大數(shù)據(jù)平臺(tái)案例分析
大數(shù)據(jù)培訓(xùn):Hadoop應(yīng)用與開(kāi)發(fā)高級(jí)工程師
轉(zhuǎn)載:http://xvaqeci.cn/gkk_detail/23553.html
已開(kāi)課時(shí)間Have start time
大數(shù)據(jù)課程內(nèi)訓(xùn)
- 數(shù)據(jù)驅(qū)動(dòng)價(jià)值 ——基于Ex 張曉如
- 建材門(mén)店--微信獲客與運(yùn)營(yíng) 武建偉
- 大數(shù)據(jù)項(xiàng)目解決方案及應(yīng)用 胡國(guó)慶
- 互聯(lián)網(wǎng)大數(shù)據(jù)分析管理 孫平
- 《銀行--網(wǎng)絡(luò)消費(fèi)行為與網(wǎng) 武建偉
- 《大數(shù)據(jù)分析與客戶(hù)開(kāi)發(fā)》 喻國(guó)慶
- 《小紅書(shū)運(yùn)營(yíng)零售專(zhuān)賣(mài)》 劉錦州
- 《大數(shù)據(jù)精益化營(yíng)銷(xiāo)思維與運(yùn) 喻國(guó)慶
- 《精細(xì)運(yùn)營(yíng)——京東/天貓平 武建偉
- 大數(shù)據(jù)提升:用戶(hù)體驗(yàn)提升與 武建偉
- 數(shù)據(jù)創(chuàng)造價(jià)值——大數(shù)據(jù)分析 張曉如
- 《流量神器,銷(xiāo)量升級(jí):如何 武建偉