【快班】深入理解Storm与大数据实战

数据分析

11周

7人

此课程所属【hadoop大数据工程师职业方向】, 【数据分析师专业方向】专业，专业内有不少于15门推荐课程，目前平台推出【专业课程0元学】活动，只需0元即可在所有的专业课程中任选5门学习，超值优惠，助您快速成长！点击这里了解

讲师

xch_wang

课程简介

在大数据的批处理领域，Hadoop是不可撼动的王者，然而在实时性上的延迟，Hadoop却是其天生的不足，为完善大数据实时性处理的需求，业界进行了不少的尝试，如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进，同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销，为解决广告计费（cost-per-click）Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为，LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等，而Storm是由Twitter开源的实时计算框架，适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。

大数据技术的发展日新月异，不断涌现的技术代表着需求的旺盛。在本次课程中，用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路，包括数据收集、传输和计算、以及存储等；实时和离线的整合等内容。

课程章节

第1课实时计算平台介绍
- 1-1 介绍实时系统主要解决的业务问题和面临的挑战；
- 1-2 简要介绍实时平台的主要组件和构成，实时数据的收集通道和数据交互方式
- 1-3 实时数据核心组件Flume、Kafka的介绍，以及Storm在整个平台中所处的位置；
- 1-4 分享部分典型互联网公司实时平台的架构，如大众点评、美团、一号店等
第2课 Storm基本概念和组件介绍
- 2-1 Storm的基本组件：Nimbus、Supervisor、Worker、 Executor和Task的基本介绍；
- 2-2 集群组成：通常一个线上集群的如何构成；
- 2-3 Storm的可靠性：Storm如何保证可靠性以及数据的准确性；
- 2-4 Storm的数据分组和其他特性介绍；
第3课 Storm集群部署和配置
- 3-1 Storm的依赖组件介绍；
- 3-2 Storm的部署软硬件环境要求；
- 3-3 部署ZooKeeper
- 3-4 部署Storm到各个机器节点
- 3-5 配置Storm相关参数，以及核心参数介绍；
- 3-6 启动Storm相关进程；
- 3-7 Storm的守护进程；
- 3-8 提交Topology的过程介绍。
第4课 Storm基本应用的开发
- 4-1 Storm的应用开发和调试过程介绍
- 4-2 提交示例Topology到集群；
- 4-3 项目代码本地开发环境配置和依赖；
- 4-4 代码编译和打包以及注意事项；
- 4-5 本地代码调试过程；
- 4-6 线上Topology提交过程和问题分析。
第5课 Storm Nimbus和Supervisor深入剖析
- 5-1 Nimbus功能介绍和启动Nimbus服务过程分析；
- 5-2 Nimbus服务的执行过程剖析；
- 5-3 分配Executor的算法；
- 5-4 调度器介绍；
- 5-5 默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析；
- 5-6 Supervisor数据结构分析；
- 5-7 Supervisor的执行过程详解。
第6课 Storm Worker、Executor和Task深入分析
- 6-1 Worker的数据结构和架构；
- 6-2 Worker中的数据流分解；
- 6-3 创建Worker的过程；
- 6-4 Executor的创建过程；
- 6-5 创建Spout的Executor的过程和逻辑；
- 6-6 创建Bolt的Executor的过程和逻辑；
- 6-7 Task的创建过程；
- 6-8 Ack的原理介绍；
- 6-9 Acker Bolt的实现。
第7课 Storm运维和监控
- 7-1 主机信息监控；
- 7-2 日志和监控；
- 7-3 Storm UI和NimbusClient的使用；
- 7-4 Storm Metric的使用；
- 7-5 Storm ZooKeeper的目录详解和功能分析；
- 7-6 Storm Hook的使用。
第8课 Storm的扩展和二次开发
- 8-1 Storm UI原生功能介绍和数据含义；
- 8-2 Storm UI新功能需求实现；
- 8-3 Storm的Thrift接口介绍；
- 8-4 资源隔离方案简介；
- 8-5 基于CGroup的资源隔离的实现；
- 8-6 使用Docker运行Storm集群介绍。
第9课 Storm的实际应用案例分享
- 9-1 实时DAU计算实现；
- 9-2 实时用户画像；
- 9-3 实时个性化推荐；
- 9-4 广告投放的精准化
第10课 Storm使用经验和性能优化
- 10-1 使用经验；
- 10-2 性能优化建议；
- 10-3 自定义metric和性能数据收集
第11课其他实时平台介绍
- 11-1 JStorm介绍；
- 11-2 Spark Streaming介绍；
- 11-3 Heron介绍；
- 11-4 Flink介绍；
- 11-5 Storm和其他实时流处理框架的功能和性能对比

学费

学费: ￥400 ( 固定学费: ￥300，逆向学费: ￥100 )

新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取300元固定收费+100元逆向学费，学习圆满则逆向学费全额返还给学员！