大數據項目 - 在線教育項目

技術點

真實數據ETL實操，掌握如何對原始數據進行清洗、脫敏、數據分類、整合；
基于業務總線矩陣構建數據倉庫DWD層，完成事務型事實表、周期型事實表、累積快照事實表搭建和數據裝載；
基于業務總線矩陣構建數據倉庫DIM層，針對緩慢變化維度，構建拉鏈表；
基于指標體系分析構建DWS層，將相同粒度、統計周期的派生指標整合統計為寬表，提高計算結果復用性；
基于五大主題指標，分析統計100余個指標，構建ADS層；
安裝部署受各大廠歡迎的DolphinScheduler，最流行的工作流調度系統，實現數據倉庫搭建全流程定時自動化調度以及故障自動郵件告警；
采用SuperSet對調度采集至RDBMS數據庫中的結果數據進行多圖表、儀表盤可視化展示；
分析總結項目搭建過程中遇到的問題，增加開發經驗，提升實戰問題解決能力；
采用Flume采集用戶行為日志數據，適配組件廣泛調研，給出詳細貼近實戰的配置文件，自定義采集組件，解決時間戳零點漂移，優化小文件存儲帶來問題，提供更多實戰經驗。

提供針對多種場景的雙流Join解決方案，深入分析各種解決方案的優劣，培養問題解決能力；
采用SpringBoot編寫數據展示接口對接Sugar實現數據可視化大屏展示，熟練掌握數據展示接口的編寫流程；
基于企業級的海量數據分析任務，對CPU配置、內存分配、并行度配置、CheckPoint等方面進行廣泛的性能調優；
詳細講解生產環境中會產生的反壓問題，對反壓原因、反壓定位、反壓處理進行詳細分解；
多角度分析大數據分析中最常見的數據傾斜問題，提供詳盡的問題定位策略和多種解決方案；
使用FlinkCEP技術實現不同用戶行為模式的識別；
詳細講解生產環境中常見的故障：非法配置異常、Java 堆空間異常、直接緩沖存儲器異常、元空間異常、網絡緩沖區數量不足、超出容器內存異常、Checkpoint 失敗、Checkpoint 慢、Kafka動態發現分區、Watermark不更新、依賴沖突、超出文件描述符限制、臟數據導致數據轉發失敗等，令學員在短時間內掌握生產環境中常見到、難解決的開發難題，迅速增長經驗，提升能力。