《深入理解Storm与大数据实战》

2016-12-14 12:12| 发布者: 岸岸| 查看: 425086| 评论: 0|原作者: 岸岸

快速报名入口

在大数据的批处理领域，Hadoop是不可撼动的王者，然而在实时性上的延迟，Hadoop却是其天生的不足，为完善大数据实时性处理的需求，业界进行了不少的尝试，如Facebook在2011年发表的论文“Apache Hadoop Goes Realtime at Facebook”中介绍了其基于Hadoop上进行实时性系统的相关改进，同时开发了Puma对网站用户进行实时分析以便对自己的产品或服务进行营销，为解决广告计费（cost-per-click）Yahoo启动了S4用于实时计算、预测用户对广告的可能的点击行为，LinkedIn则基于Kafka开发了Samza用于实时新闻推送、广告和复杂的监控等，而Storm是由Twitter开源的实时计算框架，适用于实时分析、在线机器学习、连续计算、分布式RPC和ETL等场景。

大数据技术的发展日新月异，不断涌现的技术代表着需求的旺盛。在本次课程中，用深入浅出的方法系统介绍了Storm自身的体系架构、技术以及大数据的一些应用。包括如何使用Storm在实时Dashboard统计、反作弊、用户画像与实时推荐等领域的应用。同时介绍整条实时数据处理链路，包括数据收集、传输和计算、以及存储等；实时和离线的整合等内容。

课程大纲：
第一课：实时计算平台介绍
介绍实时系统主要解决的业务问题和面临的挑战；
简要介绍实时平台的主要组件和构成，实时数据的收集通道和数据交互方式
实时数据核心组件Flume、Kafka的介绍，以及Storm在整个平台中所处的位置；
分享部分典型互联网公司实时平台的架构，如大众点评、美团、一号店等

第二课：Storm基本概念和组件介绍
Storm的基本组件：Nimbus、Supervisor、Worker、 Executor和Task的基本介绍；
集群组成：通常一个线上集群的如何构成；
Storm的可靠性：Storm如何保证可靠性以及数据的准确性；
Storm的数据分组和其他特性介绍；

第三课：Storm集群部署和配置
Storm的依赖组件介绍；
Storm的部署软硬件环境要求；
部署ZooKeeper
部署Storm到各个机器节点
配置Storm相关参数，以及核心参数介绍；
启动Storm相关进程；
Storm的守护进程；
提交Topology的过程介绍。

第四课：Storm基本应用的开发
Storm的应用开发和调试过程介绍，包括：
提交示例Topology到集群；
项目代码本地开发环境配置和依赖；
代码编译和打包以及注意事项；
本地代码调试过程；
线上Topology提交过程和问题分析。

第五课：Storm Nimbus和Supervisor深入剖析
Nimbus功能介绍和启动Nimbus服务过程分析；
Nimbus服务的执行过程剖析；
分配Executor的算法；
调度器介绍；
默认调度器DefaultScheduler和均衡调度器EvenScheduler逻辑分析；
Supervisor数据结构分析；
Supervisor的执行过程详解。

第六课：Storm Worker、Executor和Task深入分析
Worker的数据结构和架构；
Worker中的数据流分解；
创建Worker的过程；
Executor的创建过程；
创建Spout的Executor的过程和逻辑；
创建Bolt的Executor的过程和逻辑；
Task的创建过程；
Ack的原理介绍；
Acker Bolt的实现。

第七课：Storm运维和监控
主机信息监控；
日志和监控；
Storm UI和NimbusClient的使用；
Storm Metric的使用；
Storm ZooKeeper的目录详解和功能分析；
Storm Hook的使用。

第八课：Storm的扩展和二次开发
Storm UI原生功能介绍和数据含义；
Storm UI新功能需求实现；
Storm的Thrift接口介绍；
资源隔离方案简介；
基于CGroup的资源隔离的实现；
使用Docker运行Storm集群介绍。

第九课：Storm的实际应用案例分享
实时DAU计算实现；
实时用户画像；
实时个性化推荐；
广告投放的精准化

第十课：Storm使用经验和性能优化
使用经验；
性能优化建议；
自定义metric和性能数据收集

第十一课：其他实时平台介绍
JStorm介绍；
Spark Streaming介绍；
Heron介绍；
Flink介绍；
Storm和其他实时流处理框架的功能和性能对比

授课时间：

课程将于2017年9月23日开课，课程持续时间大约为13周。

授课对象：具有Linux操作一般知识，对Java些认识，对Storm实时数据分析平台有兴趣的IT人或学习者

收获预期：能独立架设Storm集群，并应用于数据分析工作

讲师简介：
王新春
曾任大众点评数据平台高级架构师，负责大众点评数据平台工具系统、实时计算平台和在线服务等，推动大数据相关的技术、工具和分析在点评的应用和发展。为公司内部数百名数据分析师、BI和开发工程师提供数据分析工具和平台。平台离线处理数据量PB级别，实时处理数据量超过50TB。
个人著作：《Storm技术内幕与大数据实践》

课程试听：

新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！

特别说明如下：
本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。
在报名时每位报名者收取400元，其中100元为固定收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业（每周不超过2小时），则300元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式：
1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。
3、老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。
4、结业测验：通过测验，完成学业。

附图：炼数成金大数据课程地图

您是否对此课程还有疑问，那么请点击进入 FAQ，您的问题将基本得到解答

全国统一咨询热线 4008-010-006

课程现开始接受报名，报名方式
网上报名请点击：深入理解storm与大数据实战
咨询Email ：edu01@dataguru.cn，edu02@dataguru.cn
课程入门讨论咨询群：485625800（群内有培训公开课视频供大家免费观看）

咨询QQ： 2222010006 (上班时间在线）

技术热点、 行业资讯，培训课程信息，尽在炼数成金官方微信，低成本传递高端知识！技术成就梦想！欢迎关注！
打开微信，使用扫一扫功能，即刻关注炼数成金官方微信账户，不容错过的精彩，期待您的体验！！！

快速报名入口

普班报名：【普班】深入理解Storm与大数据实战（第四期） (暂未招生)

快班报名：【快班】深入理解Storm与大数据实战 (随报随学)

分享到新浪微博收藏邀请

上一篇：王新春讲师简介下一篇：Python机器学习

《深入理解Storm与大数据实战》

即将开课

热门文章