• 2022.07.24

                                上課日期

                              • 180

                                服務期

                              • 長期有效

                                有效期

                              課程參數
                              有回放
                              直播結束后,會有回放視頻提供
                              教學服務
                              答疑輔導
                              答疑解惑, 及時掃清學習過程中的障礙, 助你順利完成學習。
                              直播串講
                              循環+專項直播,帶你梳理知識體系,讓學習過程更順暢。
                              就業服務
                              一對一職業規劃,就業指導,為你高薪就業保駕護航。

                              《狂野大數據》是傳智教育旗下博學谷品牌推出的,針對有IT行業經驗人員的大數據技術體系在職提升課
                              課程包含完整的大數據體系中常用的組件和技術,內容豐富有深度。場景式教學、真·實戰項目以及貼合企業實際需求的內容編排,確保教學質量和學員的吸收效果。同時固定周期直播+視頻回看的授課方式,滿足了學習時間的靈活性。指定城市月薪不達15K或18K全額退還學費的保障,讓您的學習無后顧之憂。

                              學完收獲 :
                              熟練使用DS、Oozie、AirFlow等任務調度工具,完成大數據任務調度
                              熟悉Linux基本操作,完成分布式虛擬機搭建任務
                              了解數據倉庫開發從需求溝通、標簽定義、編碼開發、整個流程
                              能夠利用Python語言完成Spark編程任務
                              能夠利用Java完成MapReduce編程,Flink任務編程
                              熟練掌握Hadoop生態體系
                              掌握MapReduce原理及優化技巧
                              熟悉掌握Spark生態技術棧
                              能夠利用SparkCore完成基礎數據處理
                              能夠使用SparkSQL完成大數據數據處理及統計分析
                              能夠利用HiveSQL完成基礎數據倉庫構建
                              能夠利用Spark On Hive完成企業級離線數據處理及統計工作
                              熟練Mysql數據庫
                              能夠完成Spark/Hadoop/HBase/Kafka/Flink等組件的搭建
                              能夠基于Flink進行實時分析和離線分析
                              掌握Flink核心4大基石
                              能夠基于FlinkSQL完成常見大數據統計分析任務
                              能夠使用Hbase完成大數據異構數據存儲
                              能夠掌握Kafka消息隊列基礎使用
                              能夠掌握Kafka和Flume對接完成實時數據采集工作
                              熟練使用FineBi等BI工具完成數據展示任務

                              階段一 大數據的專屬操作系統
                              |Linux操作系統
                              1. Linux虛擬化環境安裝、2.快照、3.快速備份、4.虛擬環境還原、5.Linux終端遠程連接、6.快速備份、7.Linux文件系統、8.Linux權限管理、9.Linux網絡管理、10.文本處理指令。
                              |操作系統編程
                              1. shell解釋器、2.shell腳本執行、3.shell數據類型、4.shell變量、5.shell字符串、6.shell算術運算符、7.shell流程控制、8. Shell函數、9. Shell數組、10.shell中select、11.shell文件加載。
                              |大數據集群基建
                              1.網絡、2.域名映射、3.免密認證、4.時間服務器同步、5.基礎應用平臺。
                              |分布式協調服務
                              1. ZK集群部署、2. 存儲模型、3. SHELL/Java客戶端操作、4. 監聽機制、5. 選舉機制。

                              學完后具備如下能力: 1. 能夠熟練使用Linux系統;2. 能夠使用Linux命令來管理操作磁盤、權限、網絡等;3. 能夠通過基于SHELL腳本編寫程序;4. 能夠通過腳本控制程序自動化執行;5. 掌握分布式服務協調系統原理并應用;6. 掌握大數據常用操作系統管理、運維能力。

                              階段二 殿堂級開源大數據框架
                              |環境搭建
                              1.大數據導論、2.配置網絡、3.域名映射、4.免密認證、5.時間服務器同步、6.基礎應用平臺搭建、7.構建分布式環境、8.benchmark性能測試
                              |高吞吐下的分布式存儲
                              1.客戶端操作(Java、SHELL、RESTful)、2.文件存儲權限管理、3.集群架構、4.機架感知、5.分區副本機制、6.分布式存儲原理、7.大批量寫、8.大批量讀
                              |元數據管理
                              1. NameNode管理策略、2. SecondaryNameNode元數據管理策略、3. 元數據存儲機制
                              |文件管理
                              1. archive、 2. trash、 3. snapshot
                              |分布式計算引擎先驅
                              1.分治編程思想、2.分布式計算編程模型、3.分區與并行度、4.排序與序列化、5.自定義分組、6.分布式計算運行原理、7.分布式計算編程實戰、8.分布式計算性能調優
                              |分布式資源調度
                              1.集群架構、2.資源角度管理、3.分布式應用執行原理、4.資源調度策略、5.隊列調度、6.容量調度、7.公平調度、8.參數調優、9.高可用HA

                              學完后具備如下能力: 1,掌握集群的環境準備、搭建能力;2,掌握HDFS的使用;3,掌握基于HDFS編程;4,理解MapReduce原理和應用場景;5,掌握Yarn的原理和組件。

                              階段三 千億級數倉技術
                              |數據倉庫概論
                              1.數據倉庫介紹、2.特性、3.對比關系型數據庫
                              |架構與部署
                              1.Hive數倉架構、2. Hive底層原理、3.Hive數倉搭建
                              |HQL開發
                              1.DDL、2.DML、3.DQL、4.分區分桶、5.數據裝載
                              |SHELL客戶端
                              1.hive SHELL、2.beeline(meta store server、hive server2)
                              |HQL高級函數
                              1.HiveServer內置函數、2.自定義UDF和UDAF
                              |Hive調優
                              1.常見性能優化、2.explain執行計劃詳解

                              學完后具備如下能力: 1,掌握Hive的使用;2,掌握Hive的架構;3,掌握OLAP的設計特點;4,能夠運用HQL開發ETL;5,能夠使用各種策略進行Hive調優。

                              階段四 企業級大數據數倉平臺項目實戰
                              |億品新零售項目介紹
                              本階段為大數據的核心項目實戰課程,該階段課程將之前所學習的所有階段課程集成在一起,將技術真正地應用在實際的業務場景中。該項目課程為新零售行業的真實大數據項目轉換而來,項目中大量使用到目前離線數倉的主流技術。例如:采用ClouderaManager快速搭建大數據平臺,采用sqoop進行數據導入導出、采用Hive作為離線數倉引擎、采用Oozie作為離線作業調度、使用FineBI工具作為可視化BI工具等。項目經過精心設計,從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套完整pipeline。
                              |主講知識點
                              1.基于CM自動部署和配置、2.數據倉庫建模、3.離線數倉架構分層、4.使用Git版本控制和CodeReview、5.使用Oozie進行作業調度、6.Hive2的使用和調優、7.Sqoop進行Mysql和Hive的雙向海量數據同步、8.使用拉鏈表完成增量數據的統計分析、9.使用FineBI完成數據可視化。

                              學完后具備如下能力: 1,掌握從需求、設計、研發、測試到落地上線的完整項目流程。2,掌握大數據量場景下優化配置。3,掌握拉鏈表的具體應用,新增、更新數據的抽取和分析。4,掌握hive函數的具體應用等。5,掌握基于CM的大數據環境部署和管理。6,掌握數據倉庫的核心概念和應用。7,掌握最常用的離線大數據技術:oozie、Sqoop、hive等。8,掌握FineBI可視化。

                              階段五 PB級內存計算框架
                              |Python編程語言
                              1.語言基礎、2.開發環境、3.數據類型、4.集合、5.函數式編程、6.class、7.object
                              |Pandas數據處理
                              1.DataFrame、2.結構化數據處理
                              |Spark Core
                              1. Standalone Standalone HA、2. Spark on YARN、3. 創建RDD、4. RDD函數、5. Checkpoint、6.共享變量、7.內核調度、8.內存管理
                              |Spark SQL
                              1. Spark SQL、2.Spark Session、3. DataFrame、4.DataSet、5.UDF、6.UDAF、7.Spark SQL CLI、8.Thrift Server
                              |Structured Streaming
                              1. input source、2. streaming queries、4. Eventtime Window、5. Continuous Processing

                              學完后具備如下能力: 1,掌握Python語言基礎數據結構; 2,掌握Python語言高階語法特性; 3,掌握Spark的RDD、DAG、CheckPoint等設計思想; 4,掌握SparkSQL結構化數據處理,Spark On Hive整合; 5,掌握SparkStreaming偏移量管理及Checkpoint; 6,掌握Structured Streaming整合多數據源完成實時數據處理。

                              階段六 Spark大數據項目實戰
                              |富華保險項目介紹
                              課程涵蓋真實保險行業相關業務和實時業務,從項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structured Streaming)、Spring Cloud數據微服務開發、存儲和計算性能調優、還原企業搭建大數據平臺的完整過程。
                              |主講知識點
                              1. 基于Hive+Spark SQL搭建離線數據倉庫、2. Sqoop數據同步開發、 3. DolphinScheduler任務調度、4. UDAF函數、5. 分區表的使用、6. Shuffle優化、7.Spring Cloud數據微服務開發

                              學完后具備如下能力: 1.掌握快速搭建保險行業大數據平臺能力; 2.掌握SparkSQL輕松應對復雜的迭代計算; 3.掌握基于Spark分析12億報單表和8千萬客戶等數據; 4.掌握保單匯總各類業務指標計算; 5.熟悉基于SpringCloud搭建Web平臺。

                              階段七 高性能NoSQL存儲與秒處理百萬級消息的頂級MQ
                              |高性能緩存服務Redis
                              1.Linux部署、2.數據類型、3.SHELL與Java客戶端操作、4.持久化(RDB、AOF)、5. 事務、6. 過期策略、7. 內存淘汰策略、8. 架構(主從復制、哨兵、集群)、9.常見問題
                              |基于HDFS的低延遲高吞吐KV型NoSQL分布式數據庫-HBase
                              1.集群搭建、2.數據模型SHELL操作、3.SHELL管理操作、4.Java客戶端編程、5. HMaster高可用、6.架構、7.陌陌海量存儲實戰、8.原理、9.批量裝載BulkLoad、10.coprocessor、11.跳表、12.二叉搜索樹、13.平衡二叉樹、14.紅黑樹、15.B樹、16.B+樹、17.LSM樹、18.布隆過濾器、19.StoreFile結構、20.調優
                              |低延遲高吞吐分布式支持海量數據傳輸的消息隊列-Kafka
                              1.消息隊列導論、2.集群部署、3.數據操作、5.架構、6.原理、7.監控平臺

                              學完后具備如下能力: 1,掌握Redis原理及架構; 2,掌握Hbase原理及架構; 3,掌握使用HBase存儲清洗、轉換后的海量數據; 4,掌握使用HBase結合Phoneix進行優化查詢; 5,掌握Kafka原理及架構。

                              階段八 性能之巔——亞秒級實時計算技術
                              |Flink基礎
                              1.環境搭建部署與快速入門、導論(官方介紹/組件棧/四大基石/應用場景)、2.集群部署、3.API開發、4.打包部署、5.集群角色、6.執行流程、7.DataFlow、8.運行時組件、9.執行圖
                              |Flink Stream
                              1. source、2. transformation、3. sink
                              |高級特性
                              1. window(滑動窗口、滾動窗口、會話窗口)、2. time與watermark、3.狀態管理、4.容錯機制、5.checkpoint、6.savepoint、7.狀態恢復與重啟、8.end-to-end Exactly-Once、9.異步IO、10.Streaming File Sink
                              |Table與SQL
                              1. Table API與SQL介紹、2.流處理案例、3.FlinkSQL常用算子

                              學完后具備如下能力: 1.掌握基于Flink進行海量數據集的實時和離線數據處理、分析; 2.掌握基于Flink的多流并行處理技術; 3.掌握Flink中的事件時間窗口計算。

                              階段九 實時大數據項目實戰
                              |星途車聯網項目介紹
                              本階段為大數據體系中實時數據處理方向的項目實戰階段。近些年來,眾多企業開始進行數字化轉型,越來越多的業務直接依賴于大數據技術的支撐。企業對大數據技術的時效性要求也越來越高,很多企業都開始啟動實時大數據項目,以大量的高性能、低延遲、高容錯的實時組件來完善實時大數據項目的架構。該項目中覆蓋了大型實時項目的完整流程。從海量實時數據的采集、到實時數據的計算、到落地存儲、到監控預警、到實時展示等。并且能夠從項目中學習到大量的技術解決方案實現,幫助學生完成更高層級的就業。
                              |主講知識點
                              1. Flink實現秒級計算、2. HBase應對PB級規模數據、3. QBOX車輛終端數據收集、4.QBOX車輛終端數據解析、5.HBase性能調優。

                              學完后具備如下能力: 1.掌握基于Flink全棧進行快速OLAP分析; 2.掌握實時高性能海量數據分析與存儲; 3.掌握針對HBase調優實現HBase存儲優化; 4.掌握數據報表分析; 5.掌握業務數據實時大屏場景實現; 6.項目上線部署、運維監控。

                              階段十 大廠面試題
                              |面試技巧
                              1.提升學生在面試時的溝通技巧,能夠將自己掌握的知識完整的表達出來。
                              |面試題
                              1.Hive常見面試題講解、2.Spark常見面試題講解、3. 2.Flink常見面試題講解、4.HBase常見面試題講解、5.Kafka常見面試題講解、6.SQL常見面試題講解。

                              學完后具備如下能力:

                              億品新零售大數據平臺

                              本階段為大數據的核心項目實戰課程,該階段課程將之前所學習的所有階段課程集成在一起,將技術真正地應用在實際的業務場景中。該項目課程為新零售行業的真實大數據項目轉換而來,項目中大量使用到目前離線數倉的主流技術。例如:采用ClouderaManager快速搭建大數據平臺,采用sqoop進行數據導入導出、采用Hive作為離線數倉引擎、采用Oozie作為離線作業調度、使用FineBI工具作為可視化BI工具等。項目經過精心設計,從項目的需求、技術架構、業務架構、部署平臺、ETL設計、作業調度等整套完整pipeline。

                              技術亮點:

                            1. 基于CM自動部署和配置
                            2. 離線數據倉庫建模
                            3. 離線數倉架構分層
                            4. 使用Git版本控制和CodeReview
                            5. 使用Oozie進行作業調度
                            6. Hive2的使用和調優
                            7. Sqoop進行Mysql和Hive的雙向海量數據同步
                            8. 使用拉鏈表完成增量數據的統計分析
                            9. 使用FineBI完成數據可視化
                            10. 富華保險

                              課程涵蓋真實保險行業相關業務和實時業務,從項目核心架構和業務流程、Hive數倉建模 、Sqoop數據同步開發 DolphinScheduler任務調度、使用lag,sum等窗口函數 、使用UDAF函數計算有效保單數字段、計算現金價值、計算和準備金、分區表的使用 、指標匯總計算 、Shuffle優化。以企業主流的Spark生態圈為核心技術(Spark、Spark SQL、Structured Streaming)、Spring Cloud數據微服務開發、存儲和計算性能調優、還原企業搭建大數據平臺的完整過程。

                              技術亮點:

                            11. 掌握快速搭建保險行業大數據平臺能力
                            12. 掌握SparkSQL輕松應對復雜的迭代計算
                            13. 掌握基于Spark分析12億報單表和8千萬客戶等數據
                            14. 掌握保單匯總各類業務指標計算
                            15. 熟悉基于SpringCloud搭建Web平臺
                            16. 星途車聯網

                              近年來,國家大力推廣新能源汽車產業,汽車附加產業。隨著車輛設備終端技術的發展,收集車輛數據高度精確且極其高效。大型車企累計大量數據,在傳統模式數據存儲和計算方式下,無法滿足原始車輛數據高效存儲、快速計算、智能推薦等需求,此系統應運而生。車聯網大數據系統通過TBOX車輛終端收集車輛上報原始數據,通過嵌入式代碼解析為TSP數據、DCS數據、充電數據、HU數據,原始數據經過ETL轉換存儲到數倉中,存儲到NoSQL數據庫系統中與分布式文件系統上。在計算與服務層,提供實時計算服務與離線計算服務,最終通過API接口提供數據查看,以報表和大屏展示分析結果數據。

                              技術亮點:

                            17. 海量數據處理,系統15分鐘內收集的新能源車輛的數據超過千萬條
                            18. 基于Hive、HBase、HDFS數據存儲
                            19. 基于Kafka數據傳輸
                            20. 基于Flink全棧數據處理
                            21. 基于Nginx做反向代理、LSV和Keepalived負載均衡和高可用
                            22. 知行教育大數據平臺

                              還原大型在線教育的大數據平臺,建立企業數據倉庫,統一企業數據中心,把分散的業務數據集中存儲和處理。項目從需求調研、設計、版本控制、研發、測試到落地上線,涵蓋了項目的完整工序,項目中挖掘分析海量用戶行為數據,定制多維數據集合,形成數據集市,供各個場景主題使用。

                              技術亮點:

                            23. 基于CM平臺進行 數據倉庫建模、離線數倉架構分層
                            24. 使用ClouderaManager可視化自動部署和集群
                            25. 使用Git版本控制和CodeReview
                            26. 使用Oozie進行作業調度、Hive2的使用和調優、 Sqoop進行MySQL和Hive的雙向海量數據同步
                            27. 使用拉鏈表完成增量數據的統計分析
                            28. 使用FineReport完成數據可視化
                            29. 今日證券指數

                              本階段為大數據體系中實時數據處理方向的項目實戰階段。近些年來,眾多企業開始進行數字化轉型,越來越多的業務直接依賴于大數據技術的支撐。企業對大數據技術的時效性要求也越來越高,很多企業都開始啟動實時大數據項目,以大量的高性能、低延遲、高容錯的實時組件來完善實時大數據項目的架構。該項目中覆蓋了大型實時項目的完整流程。從海量實時數據的采集、到實時數據的計算、到落地存儲、到監控預警、到實時展示等。并且能夠從項目中學習到大量的技術解決方案實現,幫助學生完成更高層級的就業。

                              技術亮點:

                            30. 掌握基于FTP、Flume + Kafka的實時數據采集開發
                            31. 掌握TB級海量規模下Flink實時處理開發,保證實時計算高容錯
                            32. 掌握三種不同時間維指標的存儲、計算方案(Druid、MySQL、HBase),例如:毫秒級秒級分時等時間維
                            33. 掌握基于Kylin的即席快速OLAP開發
                            34. 掌握基于Flink CEP的實時預警監控開發
                            35. 掌握基于Spring Boot的數據服務接口開發
                            36. 客快物流

                              本項目是基于大型物流公司業務研發的智慧物流大數據平臺,公司業務網點覆蓋國內各地,大規模的客戶群體,日訂單達1000W,平臺對千億級數據進行整合、分析、處理,保障業務的順利進行。

                              技術亮點:

                            37. 基于Oracle物流系統
                            38. 基于MySQL客戶系統
                            39. Oracle數據與MySQL整合
                            40. 基于Kafka+Structured Streaming實時處理
                            41. 基于Structured Streaming實現實時ETL
                            42. 基于高可維護性的Spark DSL實現復雜邏輯
                            43. 基于Spring Cloud實現數據微服務接口
                            44. 基于Docker高效部署方案
                            45. 基于Oracle Golden Gate實時數據采集
                            46. 基于Canal實時數據采集
                            47. 一站制造

                              通過大數據技術架構,解決工業物聯網石油制造行業的數據存儲和分析、可視化、個性化推薦問題。一站制造項目主要基于hive數倉分層來存儲各個業務指標數據,基于sparksql做數據分析。核心業務涉及運營商、呼叫中心、工單、油站、倉儲物料。

                              技術亮點:

                            48. 使用主流的Hive+Spark構建離線數倉
                            49. 基于完整的工業業務背景實現的離線和實時大數據業務豐富地地圖展示可視化開發
                            50. 基于Airflow完成大數據調度任務
                            51. 學會使用Spark SQL處理復雜業務完整的離線采集 + 實時采集方案
                            52. 掌握如何使用調度平臺調度T+1批處理任務Spark離線任務和實時任務整合,統一由YARN做資源管理
                            53. 智數電商

                              智數電商主要是對來自全品類B2B2C電商系統的數據進行分析,數據倉庫分為離線數倉和實時數倉,技術框架依托于大數據CDH發型版構建。智數電商在業務上貼近企業實際需求,指標計算完成后采用開源BI工具Apache superset對指標數據進行可視化展示。

                              技術亮點:

                            54. 數據存儲以HDFS、Hive、Hbase為基石,輕松應對千億級規模數據
                            55. 離線計算以Spark為核心,以企業主流的Spark-SQL進行數據處理、分析
                            56. 使用實時計算引擎Flink實現秒級指標計算
                            57. 基于Kafka+Flink+ ApacheDruid三大性能框架搭建實時數倉
                            58. 還原大型互聯網公司實時數倉分層(ods、dwd、dws、app)
                            59. 基于開源ELT平臺Kettle實現離線采集
                            60. 基于阿里開源Canal實現采集業務數據庫數據
                            61. 基于Apache Flume實時日志采集
                            62. 基于Google ProtoBuf實現消息序列化,保證Kafka高效存儲
                            63. 基于Parquet+Snappy存儲、壓縮、保障HDFS高效存儲
                            64. 圍繞Apache Kylin實現毫秒級大規模數據分析Cube高階調優技術,解決碎片、膨脹等常見企業開發問題。
                            65. 萬網信號

                              已經是人們生活中重要的通信、咨詢、娛樂工具,本項目基于手機測速軟件采集的數據,對用戶的網速、上行下行流量、網絡制式、信號強度等信息進行宏觀分析,根據數據分析結果,計算出附近通訊廠商包括移動、聯通、電信的信號強度。

                              技術亮點:

                            66. 基于HDFS+Hive+SparkSQL離線計算
                            67. 基于Canal+Flume+Kafka+Spark Streaming實時計算
                            68. 基于HBase單日億級海量數據存儲
                            69. 基于HBase+Phoenix實時數據查詢
                            70. 覆蓋中國移動、中國聯通、中國電信等信號檢測
                            71. ECharts地圖熱力圖展示,信號強弱一目了然
                            72. 信號多維度分析,包含信號強弱、網絡質量、信號覆蓋等
                            73. 千面電商

                              以某知名電商用戶畫像系統為基礎二次開發,形成本項目。包含了幾乎所有的常見標簽類型的計算思路,也具有數個機器學習類型的標簽,標簽種類充足。采用 Spark 進行數據開發,使用 Spring 系統作為業務系統開發,包含了從部署到標簽計算的全流程。

                              技術亮點:

                            74. 項目使用HBase存儲海量用戶標簽數據
                            75. 基于HBase的協處理器整合Solr實現快速全文檢索
                            76. 基于Spark MLLib建立數據挖掘模型
                            77. 基于大數據平臺的機器學習庫
                            78. 基于Ooize的作業調度工程
                            79. 每個模型對應一個JOB,每個JOB獨立運行,保障容錯性同時保障可維護性
                            80. 自動化模型管理、監控
                            81. 每個標簽可視化集中管理,每個標簽獨立發布產品
                            82. 蜂鳥DMP廣告系統

                              DMP全稱數據管理系統,為廣告系統提供數據服務,其中涉及標簽處理、用戶識別、圖計算等技術點,可以幫助學員強化大數據開發能力。

                              技術亮點:

                            83. Apache Kude+Apache Impala、Apache Kudu + Spark兼顧AdHoc、OLAP
                            84. 基于Cloudera、小米主推的性能存儲、計算方案
                            85. 以性能引擎驅動的用戶畫像標簽技術
                            86. 收益廣告投放匯報
                            87. 以Elastic Search構建快速存儲以及標簽查詢
                            88. 精準營銷兼顧線上、線下
                            89. 基于圖計算搭建千萬用戶之間關系網
                            90. 基于Spark DataFrames構建圖快速識別同一用戶,精準數據結果
                            91. 天知票務反爬

                              天知票務反爬系統,是一款大數據防爬工具,該項目采用Lua+Spark+Redis+Hadoop框架搭建,包含狀態監控、反爬指標配置、運營指標監控展示等主要功能,能夠限制爬蟲訪問,從而解決各大訂票網站惡意占座、系統資源虛耗、系統波動等問題。

                              技術亮點:

                            92. Nginx+OpenResty+Lua+Redis實現實時秒級爬蟲封禁
                            93. 上萬高并發實時攔截
                            94. 強化殺蟲劑、出生即死亡,業務系統的忠實守衛
                            95. 以Apache Kafka消息隊列實現各個模塊耦合
                            96. 保障反爬系統高吞吐、高容錯
                            97. 簡單易用UI,可視化規則設計
                            98. 利用自定義規則持續改進反爬系統
                            99. 實時上傳,實時生效,飛速反爬規則上線
                            100. 通過Spark Streaming實時監控訪問狀態、集群運行狀態
                            101. 實時系統高容錯保證,7*24小時不間斷反爬
                            102. 师徒共侍一夫胯下翘臀