Spark實時數倉項目

本Spark實時數倉項目依托企業級真實的實時數據分析環境，對目前互聯網大廠中常見的實時分析場景提出了一套廣泛實用的技術解決方案。本項目以Spark為核心技術引擎，聯合使用了多種大數據流行計算框架，例如Kafka、Canal、Maxwell、ElasticSearch、Redis、Kibana等。

為應對不同的流式數據采集場景，本項目給出了多種MySQL變動數據采集方案，并給出詳盡的框架安裝部署過程和代碼解讀流程。項目全程使用SparkStreaming作為實時計算引擎，使用Scala作為開發語言，簡潔高效，貼近Spark開發背景。

適學人群

學習收獲

掌握Scala語言開發Spark的實時計算任務的開發技巧

充分了解使用不同的CDC框架，如Canal和Maxwell，采集MySQL變動數據以及數據采集結構和數據分析方法

掌握如何使用SparkStreaming和Kafka實現實時數據倉庫的分層數據管理，提高數據復用性，提高指標分析效率

充分掌握使用SparkStreaming的實時計算開發技巧和任務部署策略

掌握ElasticSearch與SparkStreaming和SpringBoot的無縫對接技術，掌握SpringBoot編寫數據展示接口，對數據進行可視化大屏展示

技術點

通過SparkStreaming解決了實時計算中最常見的精確一次性消費問題；
分別采用Canal和Maxwell作為MySQL的變動數據采集工具，實時采集數據并發送至消息隊列Kafka中；
使用Scala語言開發SparkStreaming的實時計算程序，利用高階函數抽象提取雙流join、維度關聯、精確一次性消費的工具類，解決實時計算中的常見難題；
利用SpringBoot開發數據可視化展示接口，熟練掌握接口編寫流程；

利用SparkStreaming的廣播變量編寫實時計算代碼優化計算流程，提高計算效率；
項目覆蓋多種電商源數據、多種大數據分析框架配合使用、數十個實時數據分析指標，全程使用Scala語言作為SparkStreaming開發語言，超過6000行代碼；
采用Redis存儲臨時性計算數據、采用ElasticSearch存儲明細數據、采用Kibana配置可視化分析，對接多種大數據分析框架，靈活組合應用，增加開發經驗。