加入收藏 | 设为首页 | 会员中心 | 我要投稿 东莞站长网 (https://www.0769zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

3只大牛教你从0到1构建大数据分析平台

发布时间:2021-03-05 13:01:04 所属栏目:大数据 来源:网络整理
导读:StuQ?联合三位大数据资深专家桑文锋、曹犟、付力力共同推出《从0到1构建大数据分析平台》精品小班教学,仅有50席位,精品小班课区别于大众在线视频教学,课程设置具有如下特色: 采用在线视频直播授课 以实战为主 在线解答疑问 课后作业review 精品小班课通


大数据分析概述

(By 桑文锋)

大数据的概念
数据驱动的概念
数据处理流程
数据平台总体架构
思考:尝试列举每个子系统在市面上的开源或商业选型

百度大数据平台演进

(By 桑文锋)

日志统计平台
用户数据仓库
数据源管理
百度大数据平台架构
思考:百度在数据处理所面临的问题和学员本身所在公司的问题有何异同?

数据采集与传输

(By 曹犟)

数据采集与埋点
数据传输系统
开源传输系统介绍(kafka、flume、scribe)
思考:kafka能够保证数据不丢不重吗?

数据建模与存储

(By 曹犟)

数据模型
数据ETL
数据存储管理(包括元数据、hadoop)
调度器(包括开源调度器oozie、azkaban)
思考:为什么在大数据平台上,要把元数据独立出来?

查询引擎设计

(By 付力力)

查询引擎架构
开源查询引擎分析(包括impala、spark SQL、hive等)
思考:分布式查询系统和MySQL在设计上,有哪些特别的点?

数据可视化

(By 桑文锋)

数据可视化概述
可视化工具介绍
数据分析方法
运营分析实践
大数据分析总结
思考:结合所在公司的现状,设计一张大数据分析平台架构图。
6
? ?学习环境

(编辑:东莞站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!