Storm介绍

1.storm简介

大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的主流。

2.storm的优点

  • storm使用netty传送消息,消除了中间的排队过程,是消息能够直接在任务自身之间流动。在消息的背后是一种用于序列化和反序列化Storm的原语类型的自动化且高效的机制。
  • storm实现了有保障的消息处理,所以每个元组都会通过该拓扑结构进行全面处理。
  • 如果一个元组还未处理会自动从spout处重发,storm还实现了任务级的故障检查,在一个任务发生故障时,消息会自动重新分配以快速重新开始处理。

3.storm的特性

  • 使用场景广泛

    可以实时处理消息和更新DB

    对一个耗资源的查询做实时并行化的处理

  • 可伸缩性高

    可以让storm每秒可以用处理的消息量达到很高

    使用zookeeper来协调集群内的各种配置使得storm的集群可以很容易扩展。

  • 保证无数据丢失

    保证每一条消息都会被处理

  • 异常健壮

    容易管理,轮流重启节点不影响应用。

  • 容错性好

    在消息处理过程中出现异常,storm会进行重试

  • 语言无关性

    topology和消息处理组件(bolt)可以用任何语言来定义,这一点使得任何人都可以使用storm。

 

上一篇:Storm时间窗口


下一篇:Java操作storm入门