課程簡介
大數(shù)據(jù)建模與分析挖掘技術(shù)已經(jīng)逐步地應(yīng)用到新興互聯(lián)網(wǎng)企業(yè)（如電子商務(wù)網(wǎng)站、搜索引擎、社交網(wǎng)站、互聯(lián)網(wǎng)廣告服務(wù)提供商等）、銀行金融證券企業(yè)、電信運營等行業(yè)，給這些行業(yè)帶來了一定的數(shù)據(jù)價值增值作用。
目標(biāo)收益
1.本課程讓學(xué)員充分掌握大數(shù)據(jù)平臺技術(shù)架構(gòu)、大數(shù)據(jù)分析的基本理論、大數(shù)據(jù)分析挖掘應(yīng)用實戰(zhàn)技能、國內(nèi)外主流的大數(shù)據(jù)分析與BI商業(yè)智能分析解決方案、以及大數(shù)據(jù)分析在搜索引擎、廣告服務(wù)推薦、電商數(shù)據(jù)分析、金融客戶分析方面的應(yīng)用案例。
2.本課程強調(diào)主流的大數(shù)據(jù)分析挖掘算法技術(shù)的應(yīng)用和分析平臺的實施，讓學(xué)員掌握主流的基于大數(shù)據(jù)Hadoop和Spark、R的大數(shù)據(jù)分析平臺架構(gòu)和實際應(yīng)用，并用結(jié)合實際的生產(chǎn)系統(tǒng)案例進(jìn)行教學(xué)，掌握基于Hadoop大數(shù)據(jù)平臺的數(shù)據(jù)挖掘和數(shù)據(jù)倉庫分布式系統(tǒng)平臺應(yīng)用，以及商業(yè)和開源的數(shù)據(jù)分析產(chǎn)品加上Hadoop平臺形成大數(shù)據(jù)分析平臺的應(yīng)用剖析。
培訓(xùn)對象
課程大綱
| 數(shù)據(jù)建模概念 |
?為什么要數(shù)據(jù)建模 ?數(shù)據(jù)建模解決哪些問題 ?什么是邏輯數(shù)據(jù)模型 ?模型設(shè)計的流程 ?邏輯模型設(shè)計 ?物理模型設(shè)計 ?數(shù)據(jù)建模的工具介紹 |
| 基于大數(shù)據(jù)平臺分析和挖掘工具 |
?業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項目解決方案 ?業(yè)界數(shù)據(jù)倉庫與數(shù)據(jù)分析挖掘平臺軟件工具 ?Hadoop數(shù)據(jù)倉庫工具Hive、Tez、Kylin和Presto ?Spark實時數(shù)據(jù)倉庫工具SparkSQL ?Spark機器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib和SparkR ?大數(shù)據(jù)分析挖掘項目的實施步驟 |
| 數(shù)據(jù)集成 |
?日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉庫的操作訓(xùn)練 ?從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉庫 ?數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉庫中訪問數(shù)據(jù)，一個數(shù)據(jù)倉庫面向一個主題，構(gòu)建兩個數(shù)據(jù)倉庫 ?同一個數(shù)據(jù)倉庫中的事實表數(shù)據(jù)，可以給多個不同類型的分析挖掘任務(wù)調(diào)用 ?去除噪聲 |
| HIVE數(shù)據(jù)倉庫集群的多維分析建模應(yīng)用實踐 |
?基于Hadoop的大型分布式數(shù)據(jù)倉庫在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例 ?Hive數(shù)據(jù)倉庫集群的平臺體系結(jié)構(gòu)、核心技術(shù)剖析 ?Hive Server的工作原理、機制與應(yīng)用 ?Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化 ?Hive應(yīng)用開發(fā)技巧 ?Hive SQL剖析與應(yīng)用實踐 ?Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧 ?Hive數(shù)據(jù)倉庫報表設(shè)計 ?將原始的日志數(shù)據(jù)集，經(jīng)過整理后，加載至Hadoop + Hive數(shù)據(jù)倉庫集群中，用于共享訪問 |
| R語言介紹 |
?R語言介紹 ?R語言常用的分析庫介紹 ?R語言開發(fā)環(huán)境介紹 ?R分析分析和挖掘案例實戰(zhàn) ?Spark和R的整合 |
| 聚類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用 |
?聚類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用，包括： a)Canopy聚類（canopy clustering） b)K均值算法（K-means clustering） c)模糊K均值（Fuzzy K-means clustering） d)EM聚類，即期望最大化聚類（Expectation Maximization） e)以上算法在Spark MLib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。 ?Spark聚類分析算法程序示例 |
| 分類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用 |
?分類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用， 包括： a.Spark決策樹算法實現(xiàn) b.邏輯回歸算法（logistics regression） c.貝葉斯算法（Bayesian與Cbeyes） d.支持向量機（Support vector machine） e.以上算法在Spark MLlib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。 ?Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例 ?Spark實現(xiàn)給商品貼標(biāo)簽的程序示例 ?Spark實現(xiàn)用戶行為的自動標(biāo)簽和深度技術(shù) |
| 推薦分析挖掘模型與算法技術(shù)應(yīng)用 |
?推薦算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用，包括： a)Spark協(xié)同過濾算法程序示例 b)Item-based協(xié)同過濾與推薦 c)User-based協(xié)同過濾與推薦 ?交叉銷售推薦模型及其實現(xiàn) |
| 回歸分析模型與預(yù)測算法 |
?利用線性回歸（多元回歸）實現(xiàn)訪問量預(yù)測 ?利用非線性回歸預(yù)測成交量和訪問量的關(guān)系 ?基于SparkR實現(xiàn)回歸分析模型及其應(yīng)用操作 ?Spark回歸程序?qū)崿F(xiàn)異常點檢測的程序示例 |
| Spark Graphx數(shù)據(jù)挖掘 |
?Spark Graphx介紹 ?GraphxFrame介紹 ?復(fù)雜社交網(wǎng)落分析實戰(zhàn) ?圖分析實戰(zhàn) |
|
數(shù)據(jù)建模概念 ?為什么要數(shù)據(jù)建模 ?數(shù)據(jù)建模解決哪些問題 ?什么是邏輯數(shù)據(jù)模型 ?模型設(shè)計的流程 ?邏輯模型設(shè)計 ?物理模型設(shè)計 ?數(shù)據(jù)建模的工具介紹 |
|
基于大數(shù)據(jù)平臺分析和挖掘工具 ?業(yè)界主流的基于Hadoop和Spark的大數(shù)據(jù)分析挖掘項目解決方案 ?業(yè)界數(shù)據(jù)倉庫與數(shù)據(jù)分析挖掘平臺軟件工具 ?Hadoop數(shù)據(jù)倉庫工具Hive、Tez、Kylin和Presto ?Spark實時數(shù)據(jù)倉庫工具SparkSQL ?Spark機器學(xué)習(xí)與數(shù)據(jù)分析挖掘工具M(jìn)Llib和SparkR ?大數(shù)據(jù)分析挖掘項目的實施步驟 |
|
數(shù)據(jù)集成 ?日志數(shù)據(jù)解析和導(dǎo)入導(dǎo)出到數(shù)據(jù)倉庫的操作訓(xùn)練 ?從原始搜索數(shù)據(jù)集中抽取、集成數(shù)據(jù)，整理后形成規(guī)范的數(shù)據(jù)倉庫 ?數(shù)據(jù)分析挖掘模塊從大型的集中式數(shù)據(jù)倉庫中訪問數(shù)據(jù)，一個數(shù)據(jù)倉庫面向一個主題，構(gòu)建兩個數(shù)據(jù)倉庫 ?同一個數(shù)據(jù)倉庫中的事實表數(shù)據(jù)，可以給多個不同類型的分析挖掘任務(wù)調(diào)用 ?去除噪聲 |
|
HIVE數(shù)據(jù)倉庫集群的多維分析建模應(yīng)用實踐 ?基于Hadoop的大型分布式數(shù)據(jù)倉庫在行業(yè)中的數(shù)據(jù)倉庫應(yīng)用案例 ?Hive數(shù)據(jù)倉庫集群的平臺體系結(jié)構(gòu)、核心技術(shù)剖析 ?Hive Server的工作原理、機制與應(yīng)用 ?Hive數(shù)據(jù)倉庫集群的安裝部署與配置優(yōu)化 ?Hive應(yīng)用開發(fā)技巧 ?Hive SQL剖析與應(yīng)用實踐 ?Hive數(shù)據(jù)倉庫表與表分區(qū)、表操作、數(shù)據(jù)導(dǎo)入導(dǎo)出、客戶端操作技巧 ?Hive數(shù)據(jù)倉庫報表設(shè)計 ?將原始的日志數(shù)據(jù)集，經(jīng)過整理后，加載至Hadoop + Hive數(shù)據(jù)倉庫集群中，用于共享訪問 |
|
R語言介紹 ?R語言介紹 ?R語言常用的分析庫介紹 ?R語言開發(fā)環(huán)境介紹 ?R分析分析和挖掘案例實戰(zhàn) ?Spark和R的整合 |
|
聚類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用 ?聚類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用，包括： a)Canopy聚類（canopy clustering） b)K均值算法（K-means clustering） c)模糊K均值（Fuzzy K-means clustering） d)EM聚類，即期望最大化聚類（Expectation Maximization） e)以上算法在Spark MLib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。 ?Spark聚類分析算法程序示例 |
|
分類分析建模與挖掘算法的實現(xiàn)原理和技術(shù)應(yīng)用 ?分類分析建模與算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用， 包括： a.Spark決策樹算法實現(xiàn) b.邏輯回歸算法（logistics regression） c.貝葉斯算法（Bayesian與Cbeyes） d.支持向量機（Support vector machine） e.以上算法在Spark MLlib中的實現(xiàn)原理和實際場景中的應(yīng)用案例。 ?Spark客戶資料分析與給用戶貼標(biāo)簽的程序示例 ?Spark實現(xiàn)給商品貼標(biāo)簽的程序示例 ?Spark實現(xiàn)用戶行為的自動標(biāo)簽和深度技術(shù) |
|
推薦分析挖掘模型與算法技術(shù)應(yīng)用 ?推薦算法原理及其在Spark MLlib中的實現(xiàn)與應(yīng)用，包括： a)Spark協(xié)同過濾算法程序示例 b)Item-based協(xié)同過濾與推薦 c)User-based協(xié)同過濾與推薦 ?交叉銷售推薦模型及其實現(xiàn) |
|
回歸分析模型與預(yù)測算法 ?利用線性回歸（多元回歸）實現(xiàn)訪問量預(yù)測 ?利用非線性回歸預(yù)測成交量和訪問量的關(guān)系 ?基于SparkR實現(xiàn)回歸分析模型及其應(yīng)用操作 ?Spark回歸程序?qū)崿F(xiàn)異常點檢測的程序示例 |
|
Spark Graphx數(shù)據(jù)挖掘 ?Spark Graphx介紹 ?GraphxFrame介紹 ?復(fù)雜社交網(wǎng)落分析實戰(zhàn) ?圖分析實戰(zhàn) |
近期公開課推薦
