騰訊云EMR是由騰訊云打造的線上租賃式大數據解決方案平臺，一站式高效部署。使用便攜，沒有繁瑣的配置文件，直接線上修改配置；應用靈活，可以選擇騰訊云提供的服務，也可以自行安裝搭建服務。本套離線數倉項目由尚硅谷和騰訊云官方聯合推出。

項目基于騰訊云EMR平臺打通數據采集通道，從數倉建模到逐層構建離線數倉，擁有完整的數倉建模理論及建模過程，且在構建過程中采用了騰訊云EMR平臺組件和原生組件相結合的方式，讓企業在組件選擇上更加靈活。通過本套教程的學習，你將全方位掌握騰訊云大數據服務組件的使用和調優！

?

教程目錄

 

01.騰訊云EMR離線數倉教程簡介

02.采集模塊介紹

03.課程目標

04.數據倉庫概念

05.項目需求

06.技術選型

07.數據流程設計

08.框架版本選型

09.服務器選型

10.集群規模&規劃

11.電商業務簡介

12.選購EMR集群

13.遠程連接

14.修改主機名

15.配置主機映射

16.配置免密登錄

17.電商業務數據分析

18.上傳資料包

19.MySQL安裝與啟動

20.遠程連接MySQL&建庫建表

21.業務數據生成

22.Kafka服務安裝

23.Kafka服務群起&測試

24.Flume&同步策略和工具概述

25.開啟MySQL Binlog 配置信息

26.開啟MySQL Binlog 測試

27.使用Sqoop完成全量數據同步

28.增量數據同步數據通道

29.Flink部署

30.FlinkCDC簡單代碼說明

31.FlinkCDC簡單代碼本地測試

32.FlinkCDC完整代碼說明

33.FlinkCDC完整代碼打包測試

34.Flume配置文件

35.增量數據同步測試

36.Flume腳本完成

37.構建離線數倉文檔說明

38.數據倉庫概述

39.建模準備工作

40.建模具體工作

41.Hive環境準備-修改配置

42.Hive環境準備-測試

43.Yarn環境準備

44.開發環境準備說明

45.ODS層-建表

46.ODS層-裝載數據

47.DIM層-商品維度表

48.DIM層-優惠券維度表

49.DIM層-活動維度表

50.DIM層-地區維度表

51.DIM層-用戶維度表

52.DWD層-加購事實表

53.DWD層-下單事實表

54.DWD層-取消訂單事實表

55.DWD層-其他事實表&腳本封裝

56.DWD層-數據展示

57.DWS層-交易域用戶商品粒度訂單需求-需求分析

58.DWS層-交易域用戶商品粒度訂單需求-建表&裝載數據

59.DWS層-交易域用戶商品粒度退單需求-建表&裝載數據

60.ADS層-品牌訂單統計

61.ADS層-交易綜合統計

62.數據可視化-建表&導出數據

63.數據可視化-最終總結。

上一篇: 尚硅谷&騰訊云EMR實時數倉教程發布
下一篇: 尚硅谷Filebeat視頻教程發布