尚硅谷amp腾讯云EMR离线数仓教程

刘军连出诊的医院 https://m.yiyuan.99.com.cn/bjzkbdfyy/d/263946

腾讯云EMR是由腾讯云打造的线上租赁式大数据解决方案平台,一站式高效部署。使用便携,没有繁琐的配置文件,直接线上修改配置;应用灵活,可以选择腾讯云提供的服务,也可以自行安装搭建服务。本套离线数仓项目由尚硅谷和腾讯云官方联合推出。

项目基于腾讯云EMR平台打通数据采集通道,从数仓建模到逐层构建离线数仓,拥有完整的数仓建模理论及建模过程,且在构建过程中采用了腾讯云EMR平台组件和原生组件相结合的方式,让企业在组件选择上更加灵活。通过本套教程的学习,你将全方位掌握腾讯云大数据服务组件的使用和调优!

教程目录

01.腾讯云EMR离线数仓教程简介02.采集模块介绍03.课程目标04.数据仓库概念05.项目需求06.技术选型07.数据流程设计08.框架版本选型09.服务器选型10.集群规模规划11.电商业务简介12.选购EMR集群13.远程连接14.修改主机名15.配置主机映射16.配置免密登录17.电商业务数据分析18.上传资料包19.MySQL安装与启动20.远程连接MySQL建库建表21.业务数据生成22.Kafka服务安装23.Kafka服务群起测试24.Flume同步策略和工具概述25.开启MySQLBinlog配置信息26.开启MySQLBinlog测试27.使用Sqoop完成全量数据同步28.增量数据同步数据通道29.Flink部署30.FlinkCDC简单代码说明31.FlinkCDC简单代码本地测试32.FlinkCDC完整代码说明33.FlinkCDC完整代码打包测试34.Flume配置文件35.增量数据同步测试36.Flume脚本完成37.构建离线数仓文档说明38.数据仓库概述39.建模准备工作40.建模具体工作41.Hive环境准备-修改配置42.Hive环境准备-测试43.Yarn环境准备44.开发环境准备说明45.ODS层-建表46.ODS层-装载数据47.DIM层-商品维度表48.DIM层-优惠券维度表49.DIM层-活动维度表50.DIM层-地区维度表51.DIM层-用户维度表52.DWD层-加购事实表53.DWD层-下单事实表54.DWD层-取消订单事实表55.DWD层-其他事实表脚本封装56.DWD层-数据展示57.DWS层-交易域用户商品粒度订单需求-需求分析58.DWS层-交易域用户商品粒度订单需求-建表装载数据59.DWS层-交易域用户商品粒度退单需求-建表装载数据60.ADS层-品牌订单统计61.ADS层-交易综合统计62.数据可视化-建表导出数据63.数据可视化-最终总结


转载请注明:http://www.aierlanlan.com/grrz/9156.html