
《狂野大數據》是傳智教育旗下博學谷品牌推出的,針對有IT行業經驗人員的大數據技術體系在職提升課
課程包含完整的大數據體系中常用的組件和技術,內容豐富有深度。場景式教學、真·實戰項目以及貼合企業實際需求的內容編排,確保教學質量和學員的吸收效果。同時固定周期直播+視頻回看的授課方式,滿足了學習時間的靈活性。指定城市月薪不達15K或18K全額退還學費的保障,讓您的學習無后顧之憂。
學完收獲 :
熟練使用DS、Oozie、AirFlow等任務調度工具,完成大數據任務調度
熟悉Linux基本操作,完成分布式虛擬機搭建任務
了解數據倉庫開發從需求溝通、標簽定義、編碼開發、整個流程
能夠利用Python語言完成Spark編程任務
能夠利用Java完成MapReduce編程,Flink任務編程
熟練掌握Hadoop生態體系
掌握MapReduce原理及優化技巧
熟悉掌握Spark生態技術棧
能夠利用SparkCore完成基礎數據處理
能夠使用SparkSQL完成大數據數據處理及統計分析
能夠利用HiveSQL完成基礎數據倉庫構建
能夠利用Spark On Hive完成企業級離線數據處理及統計工作
熟練Mysql數據庫
能夠完成Spark/Hadoop/HBase/Kafka/Flink等組件的搭建
能夠基于Flink進行實時分析和離線分析
掌握Flink核心4大基石
能夠基于FlinkSQL完成常見大數據統計分析任務
能夠使用Hbase完成大數據異構數據存儲
能夠掌握Kafka消息隊列基礎使用
能夠掌握Kafka和Flume對接完成實時數據采集工作
熟練使用FineBi等BI工具完成數據展示任務


學完后具備如下能力: 1. 能夠熟練使用Linux系統;2. 能夠使用Linux命令來管理操作磁盤、權限、網絡等;3. 能夠通過基于SHELL腳本編寫程序;4. 能夠通過腳本控制程序自動化執行;5. 掌握分布式服務協調系統原理并應用;6. 掌握大數據常用操作系統管理、運維能力。
學完后具備如下能力: 1,掌握集群的環境準備、搭建能力;2,掌握HDFS的使用;3,掌握基于HDFS編程;4,理解MapReduce原理和應用場景;5,掌握Yarn的原理和組件。
學完后具備如下能力: 1,掌握Hive的使用;2,掌握Hive的架構;3,掌握OLAP的設計特點;4,能夠運用HQL開發ETL;5,能夠使用各種策略進行Hive調優。
學完后具備如下能力: 1,掌握從需求、設計、研發、測試到落地上線的完整項目流程。2,掌握大數據量場景下優化配置。3,掌握拉鏈表的具體應用,新增、更新數據的抽取和分析。4,掌握hive函數的具體應用等。5,掌握基于CM的大數據環境部署和管理。6,掌握數據倉庫的核心概念和應用。7,掌握最常用的離線大數據技術:oozie、Sqoop、hive等。8,掌握FineBI可視化。
學完后具備如下能力: 1,掌握Python語言基礎數據結構; 2,掌握Python語言高階語法特性; 3,掌握Spark的RDD、DAG、CheckPoint等設計思想; 4,掌握SparkSQL結構化數據處理,Spark On Hive整合; 5,掌握SparkStreaming偏移量管理及Checkpoint; 6,掌握Structured Streaming整合多數據源完成實時數據處理。
學完后具備如下能力: 1.掌握快速搭建保險行業大數據平臺能力; 2.掌握SparkSQL輕松應對復雜的迭代計算; 3.掌握基于Spark分析12億報單表和8千萬客戶等數據; 4.掌握保單匯總各類業務指標計算; 5.熟悉基于SpringCloud搭建Web平臺。
學完后具備如下能力: 1,掌握Redis原理及架構; 2,掌握Hbase原理及架構; 3,掌握使用HBase存儲清洗、轉換后的海量數據; 4,掌握使用HBase結合Phoneix進行優化查詢; 5,掌握Kafka原理及架構。
學完后具備如下能力: 1.掌握基于Flink進行海量數據集的實時和離線數據處理、分析; 2.掌握基于Flink的多流并行處理技術; 3.掌握Flink中的事件時間窗口計算。
學完后具備如下能力: 1.掌握基于Flink全棧進行快速OLAP分析; 2.掌握實時高性能海量數據分析與存儲; 3.掌握針對HBase調優實現HBase存儲優化; 4.掌握數據報表分析; 5.掌握業務數據實時大屏場景實現; 6.項目上線部署、運維監控。
學完后具備如下能力:

本階段為大數據的核心項目實戰課程,該階段課程將之前所學習的所有階段課程集成在一起,將技術真正地應用在實際的業務場景中。該項目課程為新零售行業的真實大數據項目轉換而來,項目中大量使用到目前離線數倉的主流技術。例如:采用ClouderaManager快速搭建大數據平臺,采用sqoop進行數據導入導出、采用Hive作為離線數倉引擎、采用Oozie作為離線作業調度、使用FineBI工具作為可視化BI工具等。項目經過精心設計,從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套完整pipeline。
技術亮點:
課程涵蓋真實保險行業相關業務和實時業務,從項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structured Streaming)、Spring Cloud數據微服務開發、存儲和計算性能調優、還原企業搭建大數據平臺的完整過程。
技術亮點:
近年來,國家大力推廣新能源汽車產業,汽車附加產業。隨著車輛設備終端技術的發展,收集車輛數據高度精確且極其高效。大型車企累計大量數據,在傳統模式數據存儲和計算方式下,無法滿足原始車輛數據高效存儲、快速計算、智能推薦等需求,此系統應運而生。車聯網大數據系統通過TBOX車輛終端收集車輛上報原始數據,通過嵌入式代碼解析為TSP數據、DCS數據、充電數據、HU數據,原始數據經過ETL轉換存儲到數倉中,存儲到NoSQL數據庫系統中與分布式文件系統上。在計算與服務層,提供實時計算服務與離線計算服務,最終通過API接口提供數據查看,以報表和大屏展示分析結果數據。
技術亮點:
還原大型在線教育的大數據平臺,建立企業數據倉庫,統一企業數據中心,把分散的業務數據集中存儲和處理。項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序,項目中挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用。
技術亮點:
本階段為大數據體系中實時數據處理方向的項目實戰階段。近些年來,眾多企業開始進行數字化轉型,越來越多的業務直接依賴于大數據技術的支撐。企業對大數據技術的時效性要求也越來越高,很多企業都開始啟動實時大數據項目,以大量的高性能、低延遲、高容錯的實時組件來完善實時大數據項目的架構。該項目中覆蓋了大型實時項目的完整流程。從海量實時數據的采集、到實時數據的計算、到落地存儲、到監控預警、到實時展示等。并且能夠從項目中學習到大量的技術解決方案實現,幫助學生完成更高層級的就業。
技術亮點:
本項目是基于大型物流公司業務研發的智慧物流大數據平臺,公司業務網點覆蓋國內各地,大規模的客戶群體,日訂單達1000W,平臺對千億級數據進行整合、分析、處理,保障業務的順利進行。
技術亮點:
通過大數據技術架構,解決工業物聯網石油制造行業的數據存儲和分析、可視化、個性化推薦問題。一站制造項目主要基于hive數倉分層來存儲各個業務指標數據,基于sparksql做數據分析。核心業務涉及運營商、呼叫中心、工單、油站、倉儲物料。
技術亮點:
智數電商主要是對來自全品類B2B2C電商系統的數據進行分析,數據倉庫分為離線數倉和實時數倉,技術框架依托于大數據CDH發型版構建。智數電商在業務上貼近企業實際需求,指標計算完成后采用開源BI工具Apache superset對指標數據進行可視化展示。
技術亮點:
已經是人們生活中重要的通信、咨詢、娛樂工具,本項目基于手機測速軟件采集的數據,對用戶的網速、上行下行流量、網絡制式、信號強度等信息進行宏觀分析,根據數據分析結果,計算出附近通訊廠商包括移動、聯通、電信的信號強度。
技術亮點:
以某知名電商用戶畫像系統為基礎二次開發,形成本項目。包含了幾乎所有的常見標簽類型的計算思路,也具有數個機器學習類型的標簽,標簽種類充足。采用 Spark 進行數據開發,使用 Spring 系統作為業務系統開發,包含了從部署到標簽計算的全流程。
技術亮點:
DMP全稱數據管理系統,為廣告系統提供數據服務,其中涉及標簽處理、用戶識別、圖計算等技術點,可以幫助學員強化大數據開發能力。
技術亮點:
天知票務反爬系統,是一款大數據防爬工具,該項目采用Lua+Spark+Redis+Hadoop框架搭建,包含狀態監控、反爬指標配置、運營指標監控展示等主要功能,能夠限制爬蟲訪問,從而解決各大訂票網站惡意占座、系統資源虛耗、系統波動等問題。