jasper的技术小窝

关注DevOps、运维监控、Python、Golang、开源、大数据、web开发、互联网

storm笔记本

作者:jasper | 分类:storm | 标签:   | 阅读 1228 次 | 发布:2015-04-25 12:30 a.m.

之前玩过一段时间的storm,虽然现在换方案改用spark了。但是还是积累了一些相关的知识,准备将之梳理出来,以防忘记。当然在此只是记录一些比较细节的地方,并不会面面俱到。

阅读全文

浅谈storm的监控和告警

作者:jasper | 分类:storm | 标签:     | 阅读 2687 次 | 发布:2015-03-26 12:26 a.m.

大概是因为本来就是主要做监控这一块的吧,所以每当一个新的应用上去了之后,就会想到要做一个对这个应用的监控,storm自然也不例外,下面我就仅谈谈我个人的看法。其实在实现方式上并不困难,只是提供出来一种解决问题的方式罢了。

阅读全文

storm的生命周期

作者:jasper | 分类:storm | 标签:   | 阅读 828 次 | 发布:2015-03-15 12:22 a.m.

这篇文章会从细节开始,讲解topology的生命周期,从运行“storm jar”命令开始,到从nimbus上下载topology,再到supervisor启动worker,再到worker和tasks的启动。也会解释nimbus是怎么监控topology,当topology被kill后怎么shtdown的。

阅读全文

从一个storm的序列化错误谈谈component的生命周期

作者:jasper | 分类:storm | 标签:   | 阅读 1442 次 | 发布:2015-03-08 12:18 a.m.

最近搞了搞storm,别问我为什么,我就是什么都会去插一脚的,storm是twitter开源出来的一个流式处理框架,我们用它来实时处理日志,比如做一些计数啊,平均啊,聚合一类的计算。关于其基础知识我就不多说了,网上一大把一大把的,下面我就说说在用的时候踩到的一个坑。

阅读全文

其他分类: