从最初的“数据仓库”到后来的“数据湖”,再到今天的“数据中台”,企业数据平台的设计理念也在不断进化,方法论革新的背后是大数据技术的强力支撑,本课程面向企业大数据平台架构设计、开发、实施人员。将大数据平台的架构设计和原型系统的具体实现结合在一起讲解,希望能帮助学员有效地学习大数据平台的设计方法和各项技术,并能融汇贯通。
课程面向中高级技术人员,侧重与多项技术的整合,架构的实现,对其中某一单独的技术细节并未太深入。
课程安排了实际操作,学员通过系统的部署,演示代码的运行和测试数据的导入等来源于实践的训练,可以快速的掌握架构的核心并应用于实际项目。要求学员有在Linux下进行脚本编程的经验。
大纲
第一章中台简介第二章中台架构中台的技术体系
基础设施及集群规划
第三章系统典型组成
Linux
Redis
CDH
MySQL
Spark
Nginx
高可用概述
第四章大数据平台架构设计
案例简介
架构方案讲解
实验
第五章数据采集
技术堆栈与选型
基于Camel的实时采集
实验
第六章主数据管理
建设策略
实验
第7章实时计算
技术堆栈与选型