離線數倉項目

本項目依托國內電商巨頭的實際業務場景，引入海量的真實點擊數據和業務數據，緊跟大數據主流技術需求，擁有豐富的數據倉庫功能模塊，功能完善，還原真實企業級數倉場景，給予學生真實的大數據開發體驗，充分探查大數據開發的技術現狀，輕松掌握多門技術，提升開發能力。

項目覆蓋Hadoop、Hive、Spark、DataX、Maxwell、Flume、Kafka等大量流行的大數據框架，跨越ETL、海量數據存儲、海量數據計算、海量數據采集、消息隊列、定時調度、服務器安全監控、元數據管理等多種技術領域。

技術點

項目涵蓋40多個Shell腳本，5大類用戶行為日志數據，34張業務數據原始表格，100多張電商大數據表格，100多個電商統計指標；
充分調研各大廠數倉建模體系，以阿里巴巴的數據倉庫建模理論為最終藍本，搭建最實用、最貼近生產實際、最能廣泛應用的數倉建模體系；
應用建模理論，提出可實踐性強的數倉搭建理論過程，數據調研 → 明確數據域 → 構建業務總線矩陣 → 維度模型設計 → 明確統計指標 → 匯總模型設計 → 分層構建數倉；
多方參考大廠數倉分層體系，合理數據分層，降低數據耦合度，提高數據分析效率，降低數據計算成本；
基于五大主題指標，分析統計100余個指標，構建ADS層；
采用Flume采集用戶行為日志數據，適配組件廣泛調研，給出詳細貼近實戰的配置文件，自定義采集組件，解決時間戳零點漂移，優化小文件存儲帶來問題，提供更多實戰經驗；
采用最新流行數據采集框架DataX采集業務數據，提供詳細配置文件及腳本解讀，掌握更多腳本編寫技巧；
安裝部署受各大廠歡迎的DolphinScheduler，最流行的工作流調度系統，實現數據倉庫搭建全流程定時自動化調度以及故障自動郵件告警；