大勢所趨

大數據已經深入生活的方方面面

旅 游

搜索推薦

體 育

餐 飲

保 險

交通運輸

電 商

閱 讀

汽車制造

醫療服務

影 視

教 育

大有可為

學什么，很重要。大數據崗位，技術就是硬實力！

尚硅谷講授技術涵蓋
  • · Flink· Kylin
  • · Presto· Impala
  • · Druid· Kudu
  • · ClickHouse· Ambari
  • · Airflow· Hue
  • · DataX· Griffin
  • · Kettle· Zabbix
  • · MaxWell· NiFi
  • · Tableau· Structured Steaming
  • · Tidb· Phoenix
  • · Druid· Filebeat
  • · InfluxDB· Saiku
  • · Sentry· Superset
  • · Ranger· Atlas
  • · JavaSE· MySQL
  • · JDBC· Maven
  • · IDEA· Redis
  • · Git· Shell
  • · Linux· Hadoop
  • · Hive· Zookeeper
  • · HBase· Sqoop
  • · Azkaban· Oozie
  • · JVM· JUC
  • · Flume· Kafka
  • · SpringBoot· Logstash
  • · Kibanna· Spark Core
  • · Spark SQL· Spark Streaming
  • · Hudi· ElasticSearch
  • · StreamX· Docker
  • · StreamSets· Iceberg
  • · FlinkCDC· Doris
  • · StarRocks· SeaTunnel
  • · Zabbix· Prometheus
  • · Grafana· DolphinScheduler
  • · Debezium· MaxCompute
  • · nmon· DataHub
  • · suga· DataV
  • · QuickBI· DataWorks
  • · Impala· HDFS
  • · Yarn· MapReduce
  • · FlinkSQL· EMR
  • · K8S· Kubernetes
  • · OGG· Hive-on-Spark
  • · GitEE· Spark-on-K8S
  • · JUC· Flink-on-K8S
  • · Oracle· AWS
  • · CDH· HDP
  • · SqlServer· PostgreSQL
  • · PrestoDB· PrestoSQL
  • · Flink· Kylin
  • · Presto· Impala
  • · Druid· Kudu
  • · ClickHouse· Ambari
  • · Airflow· Hue
  • · DataX· Griffin
  • · Kettle· Zabbix
  • · MaxWell· NiFi
  • · Tableau· Structured Steaming
  • · Tidb· Phoenix
企業招聘技術需求

大有來頭

硅谷大數據，課程內容無縫對接企業需求，對標BAT等大廠

70+ 技術解決方案，培養解決實際問題的硬核人才
解決方案涉及技術
  • 集群監控解決方案 <> Zabbix 、Prometheus、Grafana
  • Flink背壓解決方案 <> Flink
  • Spark Streaming精準一次消費 <> Spark Streaming、Kafka
  • 海量數據存儲解決方案 <> Hadoop
  • 鏈路延遲檢測方案 <> Flink
  • Sqoop Null值存儲一致性問題解決方案 <> Sqoop
  • 海量寬表數據查詢解決方案 <> ClickHouse、Doris、Elasticsearch
  • Flume提高吞吐量 <> Flume
  • HBase數據熱點問題解決方案 <> Hbase
  • Spark OOM解決方案 <> Spark
  • 冷熱數據分離解決方案 <> Hadoop
  • 數據質量監控解決方案 <> Shell + DolphinScheduler + Superset
  • Kafka內存溢出解決方案 <> Kafka
  • Hive數據傾斜解決方案 <> Hive
  • 權限管理解決方案 <> Ranger、Sentry
  • Hadoop數據傾斜解決方案 <> Hadoop
  • 數據脫敏解決方案 <> Hql、SparkSQL 、Kettle
  • Kafka過期數據清理解決方案 <> Kafka
  • 流批一體解決方案 <> StreamX + Flink
  • Hadoop集群壓測解決方案 <> Hadoop
  • Kafka丟數據解決方案 <> Kafka
  • Hive大表大表Join解決方案 <> Hive
  • 動態分流解決方案 <> Flink CDC
  • DataX性能優化解決方案 <> DataX
  • Spark數據傾斜解決方案 <> Spark
  • Hadoop內存溢出解決方案 <> Hadoop
  • 旁路緩存解決方案 <> Redis
  • Kafka提高吞吐量解決方案 <> Kafka
  • Hadoop集群動態擴容解決方案 <> Hadoop
  • 零點漂移問題解決方案 <> Flume
  • 小文件解決方案 <> Hadoop
  • Flume集群動態擴容解決方案 <> Flume
  • Kafka數據積壓解決方案 <> Kafka
  • 實時同步MySQL解決方案 <> Maxwell、Canal、Debezium
  • Kafka數據有序解決方案 <> Kafka
  • 斷點續傳解決方案 <> Flume
  • Kafka單條日志傳輸大于1m解決方案 <> Kafka
  • 湖倉一體解決方案 <> Hudi + Iceberg + Flink
  • Kafka集群壓測解決方案 <> Kafka
  • HDFS Sink小文件解決方案 <> Flume
  • Kafka集群動態服役退役解決方案 <> Kafka
  • Hive大小表Join解決方案 <> Hive
  • Kafka重復數據解決方案 <> Kafka
  • Hive查詢慢解決方案 <> Hive
  • 多流Join 解決方案 <> Flink
  • Hive內存溢出解決方案 <> Hive
  • Kafka數據亂序解決方案 <> Kafka
  • Hive小文件解決方案 <> Hive
  • MySQL與Hive空值不一致解決方案 <> DataX
  • Kafka掛掉解決方案 <> Kafka
  • 全量同步MySQL解決方案 <> Sqoop、DataX
  • Flink Exactly-Once解決方案 <> Flink
  • Spark Streaming丟失數據解決方案 <> Spark Streaming
  • Spark性能優化解決方案 <> Spark
  • Flink數據傾斜解決方案 <> Flink
  • Flink復雜事件解決方案 <> Flink
  • Hbase RowKey查詢慢解決方案 <> Hbase
  • Kafka指定任意時間消費解決方案 <> Kafka
  • Sqoop數據傾斜解決方案 <> Sqoop
  • 數據清洗解決方案 <> Hql、SparkSQL 、Kettle
  • Kafka指定任意Offset消費解決方案 <> Kafka
  • 元數據管理解決方案 <> Atlas
  • Flink內存溢出解決方案 <> Flink
  • 數據治理解決方案 <> SpringBoot + Vue
  • Sqoop數據導出一致性問題解決方案 <> Sqoop
  • Flink SQL時區問題解決方案 <> Flink
  • 異步IO解放方案 <> Flink + Hbase
  • 大屏可視化報表解決方案 <> DataV、Suga
  • Flink RocksDB狀態后端調優解決方案 <> Flink
  • 離線報表可視化解決方案 <> Superset、Echart、QuickBI
  • 集群監控解決方案 <> Zabbix 、Prometheus、Grafana
  • Flink背壓解決方案 <> Flink
  • Spark Streaming精準一次消費 <> Spark Streaming、Kafka
  • 海量數據存儲解決方案 <> Hadoop
  • 鏈路延遲檢測方案 <> Flink
  • Sqoop Null值存儲一致性問題解決方案 <> Sqoop
  • 海量寬表數據查詢解決方案 <> ClickHouse、Doris、Elasticsearch
  • Flume提高吞吐量 <> Flume
  • HBase數據熱點問題解決方案 <> Hbase
  • Spark OOM解決方案 <> Spark
  • 冷熱數據分離解決方案 <> Hadoop
  • 數據質量監控解決方案 <> Shell + DolphinScheduler + Superset
  • Kafka內存溢出解決方案 <> Kafka
  • Hive數據傾斜解決方案 <> Hive
  • 權限管理解決方案 <> Ranger、Sentry
  • Hadoop數據傾斜解決方案 <> Hadoop
  • 數據脫敏解決方案 <> Hql、SparkSQL 、Kettle
  • Kafka過期數據清理解決方案 <> Kafka
  • 流批一體解決方案 <> StreamX + Flink
  • Hadoop集群壓測解決方案 <> Hadoop
  • Kafka丟數據解決方案 <> Kafka
  • Hive大表大表Join解決方案 <> Hive
  • 動態分流解決方案 <> Flink CDC
  • DataX性能優化解決方案 <> DataX
  • Spark數據傾斜解決方案 <> Spark
  • Hadoop內存溢出解決方案 <> Hadoop
  • 旁路緩存解決方案 <> Redis
  • Kafka提高吞吐量解決方案 <> Kafka
  • Hadoop集群動態擴容解決方案 <> Hadoop
  • 零點漂移問題解決方案 <> Flume
  • 小文件解決方案 <> Hadoop
  • Flume集群動態擴容解決方案 <> Flume
  • Kafka數據積壓解決方案 <> Kafka
  • 實時同步MySQL解決方案 <> Maxwell、Canal、Debezium
  • Kafka數據有序解決方案 <> Kafka
  • 斷點續傳解決方案 <> Flume
  • Kafka單條日志傳輸大于1m解決方案 <> Kafka
  • 湖倉一體解決方案 <> Hudi + Iceberg + Flink
  • Kafka集群壓測解決方案 <> Kafka
  • HDFS Sink小文件解決方案 <> Flume
  • Kafka集群動態服役退役解決方案 <> Kafka
  • Hive大小表Join解決方案 <> Hive
  • Kafka重復數據解決方案 <> Kafka
  • Hive查詢慢解決方案 <> Hive
  • 多流Join 解決方案 <> Flink
  • Hive內存溢出解決方案 <> Hive
  • Kafka數據亂序解決方案 <> Kafka
  • Hive小文件解決方案 <> Hive
  • MySQL與Hive空值不一致解決方案 <> DataX
  • Kafka掛掉解決方案 <> Kafka
  • 全量同步MySQL解決方案 <> Sqoop、DataX
  • Flink Exactly-Once解決方案 <> Flink
  • Spark Streaming丟失數據解決方案 <> Spark Streaming
  • Spark性能優化解決方案 <> Spark
  • Flink數據傾斜解決方案 <> Flink
  • Flink復雜事件解決方案 <> Flink
  • Hbase RowKey查詢慢解決方案 <> Hbase
  • Kafka指定任意時間消費解決方案 <> Kafka
  • Sqoop數據傾斜解決方案 <> Sqoop
  • 數據清洗解決方案 <> Hql、SparkSQL 、Kettle
  • Kafka指定任意Offset消費解決方案 <> Kafka
  • 元數據管理解決方案 <> Atlas
  • Flink內存溢出解決方案 <> Flink
  • 數據治理解決方案 <> SpringBoot + Vue
  • Sqoop數據導出一致性問題解決方案 <> Sqoop
  • Flink SQL時區問題解決方案 <> Flink
  • 異步IO解放方案 <> Flink + Hbase
  • 大屏可視化報表解決方案 <> DataV、Suga
  • Flink RocksDB狀態后端調優解決方案 <> Flink
  • 離線報表可視化解決方案 <> Superset、Echart、QuickBI
9大 硅谷實戰項目，大數據企業項目直接為學員所用
  • 離線數倉項目
  • Flink實時數倉項目
  • Spark實時數倉項目
  • 用戶畫像
  • 在線教育
  • 阿里云MaxCompute
  • 物流數據分析項目(騰訊云EMR)
  • 技術中臺
  • 推薦系統

離線數倉項目

項目特色：

依托國內電商巨頭的實際業務場景，引入海量的真實點擊數據和業務數據，緊跟大數據主流技術需求，擁有豐富的數據倉庫功能模塊。

主要技術棧：
Hadoop Flume DataX Maxwell Kafka Spark DolphinScheduler SpringBoot SuperSet Kylin Presto Ranger
學習目標：
  1. 廣泛了解數據倉庫建模理論
  2. 充分熟悉電商行業數據分析指標體系
  3. 快速掌握多種大數據技術框架
  4. 了解認識多種數據倉庫技術模塊
點擊查看項目詳情>>

Flink實時數倉項目

項目特色：

參考眾多大廠的實時數倉項目的經典架構研發推出，采用當前主流的實時數據流處理框架Flink作為主要計算引擎，涉及多種實時計算關鍵技術，滿足企業對實時開發的要求。

主要技術棧：
Flume Maxwell Kafka Flink HBase Phoenix Redis ClickHouse SpringBoot Sugar
學習目標：
  1. 了解實時數據倉庫的建模理論
  2. 靈活應用Flink的的流式計算技術
  3. 多種技術框架協調配合、靈活應用，融會貫通整個大數據開發的關鍵技術
點擊查看項目詳情>>

Spark實時數倉項目

項目特色：

依托企業級真實的實時數據分析環境，對目前互聯網大廠中常見的實時分析場景提出了一套基于SparkStreaming的實用的技術解決方案，豐富實時技術棧。

主要技術棧：
Flume Canal Maxwell Kafka SparkStreaming HBase Phoenix Redis ElasticSearch Kibana SpringBoot Sugar
學習目標：
  1. 掌握Scala語言開發Spark的實時計算任務的開發技巧
  2. 了解使用不同的CDC框架，提升實時方向的項目開發經驗
點擊查看項目詳情>>

用戶畫像

項目特色：

著眼于用數字化的標簽描述用戶個性特征、勾畫目標用戶，實現了標簽定義、標簽任務處理、任務調度、任務監控、用戶分區、用戶洞察的全功能平臺化管理。

主要技術棧：
Spark MLib ClickHouse Redis Vue SpringBoot Mybatis
學習目標：
  1. 充分理解用戶畫像管理平臺的搭建及使用、用戶畫像系統的設計思路，以及標簽的設計流程及應用
  2. 初步了解機器學習算法
點擊查看項目詳情>>

在線教育

項目特色：

基于某教育的實際業務場景，引入海量的真實點擊數據和業務數據，緊跟大數據的主流技術需求，搭建一整套完整的離線數據倉庫、實時數據倉庫和用戶畫像系統。

主要技術棧：
Hadoop Flume DataX Maxwell Kafka Spark Presto DolphinScheduler SpringBoot Echart SuperSet Kylin Ranger Flink HBase Phoenix Redis ClickHouse Sugar
學習目標：
  1. 充分了解在線教育行業的業務數據體系
  2. 熟悉在線教育行業的離線指標體系
  3. 熟悉在線教育行業的實時指標體系
  4. 充分掌握多種大數據技術框架的協調應用
點擊查看項目詳情>>

阿里云MaxCompute

項目特色：

依托國內電商巨頭的真實業務場景，基于目前各大互聯網企業對于阿里云架構體系的需求，將整個電商的數據倉庫體系搭建在阿里云架構上，做到全項目全流程上云。

主要技術棧：
Flume RDS DataHub DataWorks DataV QuickBI Flink MaxCompute
學習目標：
  1. 掌握阿里云常用大數據技術框架
  2. 掌握基于阿里云服務器進行離線數據倉庫和實時數據倉庫的搭建
點擊查看項目詳情>>

物流數據分析項目(騰訊云EMR)

項目特色：

依托物流行業的的真實業務場景，基于目前各大互聯網企業對于騰訊云EMR架構體系的需求，將整個電商的數據倉庫體系搭建在騰訊云架構上。

主要技術棧：
騰訊云EMR中的Hive、Spark、Hadoop、Flink、Flume、Kafka
學習目標：
  1. 掌握騰訊云常用大數據技術框架的使用、選型和購買
  2. 掌握基于騰訊云EMR進行離線數據倉庫和利用進行實時數據倉庫的搭建
點擊查看項目詳情>>

技術中臺

項目特色：

一站式搞定數據治理、血緣管理、元數據管理、數據質量監控、批處理和實時處理的可視化調度、可視化即席查詢、可視化數據采集配置。

主要技術棧：
SpringBoot Vue ClickHouse Presto Spark Hive Flink DolphinSchedule
學習目標：
  1. 掌握技術中臺中的核心功能開發原理
  2. 掌握大數據、JavaEE和前端技術的融合
點擊查看項目詳情>>

推薦系統

項目特色：

依托于真實的中文亞馬遜電商數據集，以及真實的電商企業業務數據體系，構建了符合教學體系的一體化電商推薦系統，充分理解推薦系統的運作流程，拓寬技術視野。

主要技術棧：
Flume Kafka MongoDB Spark Streaming ElasticSearch Git Redis
學習目標：
  1. 系統性梳理整合大數據技術知識與機器學習相關知識
  2. 深入了解推薦系統在電商企業中的實際應用
  3. 深入學習并掌握多種推薦算法
點擊查看項目詳情>>

大浪淘沙

課程大綱不斷吐故納新，保持先進性與實用性結合

200+ 新技術點廣泛覆蓋企業需求

強強聯合！尚硅谷已與Apache多個開源項目形成合作：

DolphinScheduler、Hudi、Doris、Kylin、SeaTunnel、StreamX
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • Tableau
  • Tidb
  • DataX
  • Griffin
  • Zabbix
  • Kettle
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • JDBC
  • HDP
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Structured Steaming
  • Hive
  • Atlas
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • QuickBI
  • DataWorks
  • PrestoSQL
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • Git
  • Grafana
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • Impala
  • ElasticSearch
  • Hudi
  • StreamX
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • CDH
  • HDP
  • SqlServer
  • HDP
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • ClickHouse
  • Prometheus
  • Flink
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • IDEA
  • Redis
  • Git
  • QuickBI
  • DataWorks
  • OGG
  • Flink
  • Kylin
  • Presto
  • Impala
  • Druid
  • Kudu
  • ClickHouse
  • Ambari
  • Airflow
  • Hue
  • Tableau
  • Tidb
  • DataX
  • Griffin
  • Zabbix
  • Kettle
  • MaxWell
  • NiFi
  • Structured Steaming
  • Tableau
  • Tidb
  • JDBC
  • HDP
  • Phoenix
  • Druid
  • Filebeat
  • InfluxDB
  • Saiku
  • Sentry
  • Superset
  • Structured Steaming
  • Hive
  • Atlas
  • Ranger
  • Atlas
  • JavaSE
  • MySQL
  • JDBC
  • Maven
  • IDEA
  • Redis
  • Git
  • QuickBI
  • DataWorks
  • PrestoSQL
  • Shell
  • Linux
  • Hadoop
  • Hive
  • Zookeeper
  • HBase
  • Sqoop
  • Azkaban
  • Oozie
  • JVM
  • Git
  • Grafana
  • JUC
  • Flume
  • Kafka
  • SpringBoot
  • Logstash
  • Kibanna
  • Spark Core
  • Spark SQL
  • Spark Streaming
  • Impala
  • ElasticSearch
  • Hudi
  • StreamX
  • Docker
  • StreamSets
  • Iceberg
  • FlinkCDC
  • Doris
  • StarRocks
  • SeaTunnel
  • Zabbix
  • Grafana
  • ClickHouse
  • Prometheus
  • DolphinScheduler
  • Debezium
  • nmon
  • MaxCompute
  • DataHub
  • Impala
  • HDFS
  • Yarn
  • MapReduce
  • FlinkSQL
  • EMR
  • Hive-on-Spark
  • Kubernetes
  • CDH
  • HDP
  • SqlServer
  • HDP
  • K8S
  • Spark-on-K8S
  • Flink-on-K8S
  • OGG
  • GitEE
  • JUC
  • Oracle
  • AWS
  • ClickHouse
  • Prometheus
  • Flink
  • CDH
  • HDP
  • SqlServer
  • PostgreSQL
  • PrestoDB
  • PrestoSQL
  • IDEA
  • Redis
  • Git
  • QuickBI
  • DataWorks
  • OGG
課程大綱大牛引路，實戰貫穿

階段一：JavaSE基礎核心

核心技能

1深入理解Java面向對象思想

2掌握開發中常用基礎API

3熟練使用集合框架、IO流、異常

4能夠基于JDK8開發

5熟練使用MySQL，掌握SQL語法

課程設計特色
本階段除了JavaSE中要求大家必會的常見知識外，重點加強了數據結構思想、集合源碼分析，逐步培養大家深入學習的能力，此外為大數據框架學習打好基礎，加強對SQL的講解，重點培養學生數據處理思想。
Java基礎語法
  • ·分支結構if/switch
  • ·方法重載
  • ·方法聲明和調用
  • ·循環結構for/while/do while
  • ·命令行參數、可變參數
  • ·數組的使用
  • ·參數傳遞
IDEA
  • ·IDEA常用設置、常用快捷鍵
  • ·Web項目案例實操
  • ·關聯Tomcat
  • ·自定義模板
面向對象編程
  • ·封裝、繼承、多態、構造器、包
  • ·異常處理機制、IO流體系
  • ·super、this、Object類
  • ·枚舉、注解
  • ·線程的安全、同步和通信
  • ·反射、類的加載機制、網絡編程
  • ·面向對象高級應用
  • ·代理設計模式
  • ·抽象類、接口、內部類
  • ·常有基礎API
  • ·集合List/Set/Map
  • ·工廠設計模式
  • ·泛型、線程的創建和啟動
  • ·深入集合源碼分析
  • ·常見數據結構解析
  • ·模板設計模式
Java8-17新特性
  • ·Lambda表達式、方法引用
  • ·構造器引用、StreamAPI
  • ·jShell(JShell)命令
  • ·局部變量的類型推斷
  • ·更簡化的編譯運行程序等
  • ·Optional加強
  • ·接口的私有方法
MySQL
  • ·分組查詢、Join查詢、子查詢
  • ·Union查詢、函數
  • ·DML語言、DDL語言、DCL語言
  • ·流程控制語句、事務的特點
  • ·事務的隔離級別等
  • ·鎖機制、高可用設計、集群
  • ·存儲過程、觸發器、自定義函數等
  • ·分庫分表、主從復制、視圖
  • ·索引和優化、存儲引擎
JDBC
  • ·使用JDBC完成數據庫增刪改查操作
  • ·批處理的操作
  • ·常見數據庫連接池C3P0、DBCP、Druid等
  • ·數據庫連接池的原理及應用

階段二：Hadoop生態體系架構

核心技能

1Linux系統的安裝和操作

2熟練掌握Shell腳本語法

3Idea、Maven等開發工具的使用

4Hadoop組成、安裝、架構和源碼深度解析，以及API的熟練使用

5Hive的安裝部署、內部架構、熟練使用其開發需求以及企業級調優

6Zookeeper的內部原理、選舉機制以及大數據生態體系下的應用

7Flume的架構原理、組件自定義、監控搭建，熟練使用Flume開發實戰需求

8Kafka的安裝部署以及框架原理，重點掌握Kafka的分區分配策略、數據可靠性、數據一致性、數據亂序處理、零拷貝原理、高效讀寫原理、消費策略、再平衡等內容

9統籌Hadoop生態下的Hadoop、Flume 、Zookeeper、Kafka、DataX、MaxWell等諸多框架，搭建數據采集系統，熟練掌握框架結構和企業級調優手段

課程設計特色
本階段以Hadoop生態系統為主，是大數據主要框架的入門階段。根據課程的前后關聯性，先后為Linux、Hadoop、Hive、Zookeeper、Flume、Kafka、電商數據采集項目。課程順序經過精心調研安排，符合學習的基本認知規律。每個框架的講解都是從基礎的安裝部署和架構講解入手，穿插經典實操案例，配以關鍵源碼解讀。階段最后安排講解數據倉庫采集系統，對各種框架融會貫通，帶領學員回顧所學框架的同時，迅速增長實際開發經驗。
Maven
  • ·Maven環境搭建
  • ·本地倉庫&中央倉庫
  • ·自動部署&持續繼承&持續部署
  • ·創建Web工程
Linux
  • ·VI/VIM編輯器
  • ·系統管理操作&遠程登錄
  • ·軟件包管理&企業真題
  • ·常用命令
Shell編程
  • ·自定義變量與特殊變量
  • ·運算符
  • ·條件判斷
  • ·流程控制
  • ·系統函數&自定義函數
  • ·常用工具命令
  • ·常用正則表達式
  • ·面試真題
Hadoop
  • ·Hadoop生態介紹
  • ·Hadoop運行模式
  • ·源碼編譯
  • ·HDFS文件系統底層詳解
  • ·DN&NN工作機制
  • ·HDFS的API操作
  • ·MapReduce框架原理
  • ·數據壓縮
  • ·Yarn工作機制
  • ·MapReduce案例詳解
  • ·Hadoop參數調優
Zookeeper
  • ·Zookeeper數據結果
  • ·內部原理
  • ·選舉機制
  • ·Stat結構體
  • ·監聽器
  • ·分布式安裝部署
  • ·實戰案例、面試真題
  • ·API操作
HA+新特性
  • ·HDFS-HA集群配置
Hive
  • ·Hive架構原理
  • ·安裝部署
  • ·遠程連接
  • ·常見命令及基本數據類型
  • ·DML數據操作
  • ·查詢語句
  • ·Join&排序
  • ·分桶&函數
  • ·壓縮&存儲
  • ·企業級調優
  • ·實戰案例
  • ·面試真題
Flume
  • ·Flume架構
  • ·Agent內部原理
  • ·事務
  • ·安裝部署
  • ·實戰案例
  • ·自定義Source
  • ·自定義Sink
  • ·Ganglia監控
Kafka
  • ·基礎架構
  • ·安裝部署
  • ·命令行操作
  • ·生產者消息發送流程
  • ·異步發送API
  • ·同步發送API
  • ·生產者分區策略
  • ·生產者如何提高吞吐量
  • ·數據可靠性
  • ·數據去重
  • ·數據有序
  • ·數據亂序
  • ·節點服役和退役
  • ·Leader選舉流程
  • ·文件存儲機制
  • ·高效讀寫原理
  • ·消費策略
  • ·數據積壓
  • ·Kafka-Eagle監控
  • ·Kafka-Kraft模式

階段三：Spark生態體系架構

核心技能

1Spark的入門安裝部署、Spark Core部分的基本API使用熟練、RDD編程進階、累加器和廣播變量的使用和原理掌握、Spark SQL的編程掌握和如何自定義函數、Spark的內核源碼詳解（包括部署、啟動、任務劃分調度、內存管理等）、Spark的企業級調優策略

2DophineScheduler的安裝部署，熟練使用進行工作流的調度執行

3了解數據倉庫建模理論，充分熟悉電商行業數據分析指標體系，快速掌握多種大數據技術框架，了解認識多種數據倉庫技術模塊

4HBase和Phoenix的部署使用、原理架構講解與企業級優化

5開發工具Git&Git Hub的熟練使用

6Redis的入門、基本配置講解、jedis的熟練掌握

7ElasticSearch的入門安裝部署及調優

8充分理解用戶畫像管理平臺的搭建及使用、用戶畫像系統的設計思路，以及標簽的設計流程及應用，初步了解機器學習算法

9獨立構建功能完全的企業級離線數據倉庫項目，提升實戰開發能力，加強對離線數據倉庫各功能模塊的理解認知，實現多種企業實戰需求，累積項目性能調優經驗

課程設計特色
本階段課程進入進階階段，主要講解核心大數據框架Spark和HBase，對兩大框架進行了深入講解，包括兩大框架的基本安裝部署以及深入源碼解讀。

此外，本階段還包含三大項目——離線數據倉庫項目、用戶畫像項目和項目實戰。前兩大項目均采用新架構體系、穩定的框架選型、經典的理論解讀，手把手教你如何從0到1搭建一個功能完善的大數據系統。內容涵蓋絕大部分大數據經典流行框架、絕大部分經典需求實現，并配合企業級部署調優講解，助力學員迅速增長開發經驗，適配大部分企業的大數據開發需求。項目實戰項目主要鍛煉學生動手實戰能力，根據前兩個項目所學，自己獨立按照企業需求完成開發任務。
Spark
  • ·安裝部署
  • ·RDD概述
  • ·編程模型
  • ·持久化&檢查點機制
  • ·DAG
  • ·算子詳解
  • ·DRDD編程進階
  • ·累加器&廣播變量
  • ·SparkSQL
  • ·DataFrame
  • ·DataSet
  • ·自定義UDF&UDAF函數
  • ·SparkSQL企業級調優
  • ·數據傾斜處理
  • ·小文件處理
  • ·大表join大表
  • ·大小表MapJoin
  • ·謂詞下推
  • ·CPU配置
  • ·內存配置等
Presto
  • ·Presto的安裝部署
  • ·使用Presto執行數倉項目的即席查詢模塊
Superset
  • ·使用SuperSet對數倉項目的計算結果進行可視化展示
DolphinScheduler
  • ·任務調度工具DolphinScheduler的安裝部署
  • ·實現數倉項目任務的自動化調度、配置郵件報警
DataX
  • ·DataX架構原理
  • ·DataX部署
  • ·DataX使用
  • ·DataX優化
Atlas2.0
  • ·元數據管理工具Atlas的安裝部署
MaxWell
  • ·使用MaxWell實時監控MySQL數據變化采集至實時項目
Zabbix
  • ·集群監控工具Zabbix的安裝部署
HBase
  • ·HBase原理及架構
  • ·數據讀寫流程
  • ·API使用
  • ·企業級調優
Redis
  • ·安裝配置
  • ·Redis的五大數據類型
  • ·Jedis
  • ·持久化
  • ·RDB
  • ·AOF

階段五：就業指導

核心技能

1從技術和項目兩個角度按照企業面試要求帶領同學們復習

2熟悉CDH在生產環境中的使用

3手把手簡歷指導，助力學員順利通過簡歷篩選

課程設計特色
本階段課程主要圍繞學員的就業需求，在真正就業前，幫助學員多維度復習鞏固所學知識和項目，串講經典高頻面試題，傳授面試答題技巧，總結項目開發經驗，手把手簡歷指導，解決學員在就業過程中遇到的各種難題。
面試題+考試
  • ·串講所學的各種技術點，如Hadoop、Hive、Kafka、Spark、Flink等技術框架高頻面試題
  • ·串講各種學過的項目
  • ·對串講過的面試題和項目進行考試
CDH
  • ·在阿里云服務器上，基于CDH安裝部署各種離線數據倉庫項目
就業指導
  • ·簡歷指導、職業規劃
  • ·簡歷書寫（Word、網上）
  • ·模擬面試

階段四：Flink生態體系架構

核心技能

1熟練掌握Flink的基本架構以及流式數據處理思想，熟練使用Flink多種Soure、Sink處理數據，熟練使用基本API、Window API 、狀態函數、Flink SQL、Flink CEP復雜事件處理等

2使用Flink搭建實時數倉項目，熟練使用Flink框架分析計算各種指標

3ClickHouse安裝、使用及調優

4項目實戰。貼近大數據的實際處理場景，多維度設計實戰項目，能夠更廣泛的掌握大數據需求解決方案，全流程參與項目打造，短時間提高學生的實戰水平，對各個常用框架加強認知，迅速累積實戰經驗

5可選掌握推薦和機器學習項目，熟悉并使用系統過濾算法以及基于內容的推薦算法等

6采用阿里云平臺全套大數據產品重構電商項目，熟悉離線數倉、實時指標的阿里云解決方案

課程設計特色
本階段課程以時下流行的大數據處理框架Flink為中心，從架構講起，詳細講解了各種層面API的使用，并對Flink的高級應用場景進行了案例化講解，還配備了詳細的源碼解讀和優化技巧。本階段還圍繞Flink講解了大數據領域另一個十分重要的項目——Flink實時數據倉庫項目。本項目與離線數倉項目可以無縫對接，兩大項目共同組成一個完整的企業級大數據架構。課程中包含深入數倉理論講解、實用高效的實時問題解決方案。通過學習本項目，可以迅速掌握實時開發的重點難點，掌握多種實時難點問題解決方案，對實時領域框架的搭配應用融會貫通，提升開發和調優經驗。本階段還配備項目實戰階段，主要鍛煉學生動手實戰能力，根據已學內容，在講師指導下獨立完成開發任務。

此外，本階段課程還將講解時下流行的熱點問題項目，數據湖 or K8S or 技術中臺，成熟的技術課程可以使學員更廣泛了解大數據的發展趨勢，掌握更多更熱門的大數據技術，例如Hudi、K8S、數據治理等。

在本階段課程的最后是企業級的項目調優課程，通過搭建一個企業級的大數據集群，對項目中可能發生的高頻熱點問題、面試常見問題給出多角度解答，問題多、范圍廣、覆蓋全，有助學員提升開發經驗，熟悉開發環境。
Flink
  • ·運行時架構
  • ·數據源Source
  • ·Window API
  • ·Water Mark
  • ·狀態編程
  • ·Flink SQL
  • ·Table API
  • ·CEP復雜事件處理
  • ·Flink源碼
  • ·Flink優化
ClickHouse
  • ·ClickHouse安裝
  • ·使用及調優
Sugar
  • ·結合Springboot對接百度sugar實現數據可視化大屏展示
Doris
  • ·Doris編譯域安裝
  • ·集群擴容和縮容
  • ·數據劃分
  • ·數據模型
  • ·動態分區
  • ·Rollup
  • ·物化視圖
  • ·表的創建修改和刪除
  • ·數據導入導出
  • ·查詢設置
  • ·Join查詢
  • ·集成Spark
  • ·集成Flink
  • ·企業級優化
  • ·數據備份和恢復
Hudi
  • ·Hudi快速構建
  • ·集成Spark
  • ·集成Flink
  • ·生產調優
Iceberg
  • ·Iceberg構建
  • ·集成Spark
  • ·集成Flink
  • ·生產調優
K8S
  • ·集群搭建
  • ·YAML文件詳解
  • ·命令行工具Kubectl
  • ·Pod、Label
  • ·Controller
  • ·Volume
  • ·PVC和PV
  • ·Secret
  • ·configMap
  • ·Namespace
  • ·Service
  • ·探針
  • ·調度器
  • ·集群安全機制RBAC
  • ·性能監控平臺
  • ·Helm
Git&GitHub
  • ·安裝配置
  • ·本地庫搭建
  • ·基本操作
  • ·工作流、集中式
Springboot
  • ·利用Springboot開發可視化接口程序

大器早成

職業發展選擇廣泛路徑長久

中級開發

高級開發

項目經理

技術總監
資深架構

CTO
CEO

持續賦能，為學員成長保駕護航

從入學到就業后，尚硅谷始終在你身邊，助力學員整個職業生涯持續提升
一站式服務模式，3大階段6個步驟，用更高的效率，更科學化的方法，提供長期就業輔導、推薦和技術支持

厲害了，我的硅谷

影響力與日俱增，巨頭合作、重磅榮譽紛至沓來

  • 尚硅谷喜獲央廣網
    2021年度公信力教育品牌

  • 尚硅谷與釘釘共同打造前端新版課程

  • 尚硅谷與百度深度合作
    助力學員職業生涯穩步上升

  • 尚硅谷榮獲新浪
    綜合實力培訓機構大獎

  • 尚硅谷榮獲騰訊
    “2018年度綜合實力教育集團”

  • 尚硅谷榮獲鳳凰網
    2019-2020年度華人影響力職業教育品牌

  • 尚硅谷與北京市計算中心戰略合作發布
    “羽林計劃”

  • 尚硅谷與華為云達成合作

  • 尚硅谷與多所院校合作共建實訓基地

獲頒數十項國家計算機軟件著作權證書，盡顯技術研發硬實力

廣泛涵蓋大數據、教育、教務管理、閱讀、社區等領域

校區環境整潔有序，竭盡全力為學員提供高效學習氛圍

北京java培訓 北京java培訓班
尚硅谷@北京

上海java課程培訓 上海java培訓機構
尚硅谷@上海
深圳java工程師培訓 深圳java軟件培訓
尚硅谷@深圳
武漢java開發培訓

武漢java程序員培訓
尚硅谷@武漢
西安java開發培訓
西安java程序員培訓
尚硅谷@西安
成都Java開發培訓 成都Java程序員培訓 成都Java程序員培訓
尚硅谷@成都
關于尚硅谷
教育理念
名師團隊
學員心聲
加入我們
資源下載
視頻下載
資料下載
工具下載
硅谷動態
熱點資訊
技術聚焦
聯系我們
全國統一咨詢電話：010-56253825

地址：北京市昌平區宏?？萍紙@2號樓3層（北京校區）

深圳市寶安區西部硅谷大廈B座C區一層（深圳校區）

上海市松江區谷陽北路166號大江商廈3層（上海校區）

武漢市東湖高新區東湖網谷6號樓4層（武漢校區）

西安市雁塔區和發智能大廈B座3層（西安校區）

成都市成華區北辰星拱青創園綜合樓3層（成都校區）

京ICP備13018369號京公網安備 11011402010636號
夜玩亲女小妍夏令营