2019-12-19 20:21 3393次浏览 0条评论

汇集作者在大众点评和1号店实时平台的大数据实践讲解基于Storm的流数据处理的整体解决方案《Storm技术内幕与大数据实践》内容主要围绕实时大数据系统的各个方面展开，从实时平台总体介绍到集群源码、运维监控、实时系统扩展、以用户画像为主的数据平台，最后到推荐、广告、搜索等具体的大数据应用。书中提到的不少问题是实际生产环境中因为数据量增长而遇到的一些真实问题，对即将或正在运用实时系统处理大数据问题的团队会有所帮助。第1章　绪论 1 1．1　Storm的基本组件 2 1．1．1　集群组成 2 1．1．2　核心概念 3 1．1．3　Storm的可靠性 5 1．1．4　Storm的特性 6 1．2　其他流式处理框架 6 1．2．1　Apache S4 6 1．2．2　Spark Streaming 6 1．2．3　流计算和Storm的应用 7 第2章　实时平台介绍 11 2．1　实时平台架构介绍 11 2．2　Kafka架构 13 2．2．1　Kafka的基本术语和概念 13 2．2．2　Kafka在实时平台中的应用 14 2．2．3　消息的持久化和顺序读写 15 2．2．4　sendfile系

2019-07-22 14:28 4198次浏览 0条评论

随着大数据实时处理需求的强劲增长，Storm的出现填补了大数据处理生态系统的缺失，并被越来越多的公司所采用。阿里巴巴集团数据平台事业部商家数据业务部正是最早使用Storm的技术团队之一。《Storm实战：构建大数据实时计算 》是一本系统并且具有实践指导意义的Storm工具书和参考书，对Storm整个技术体系进行了全面的讲解，不仅包括对基本概念、特性的介绍，也涵盖了一些原理说明。实战性很强，各章节都提供了一些小案例，同时对于本地，以及集群环境的部署有详细介绍，易于理解，操作性强。《Storm实战：构建大数据实时计算 》一共分为10章：第1章全面介绍了Storm的特性、能解决什么问题，以及和其他流计算系统的对比；第2章通过实际运行一个简单的例子，以及介绍本地环境和集群环境的搭建，让读者对Storm有了直观的认识；第3章深入讲解了Storm的基本概念，同时实现一个Topology运行；第4章和第5章阐述了Storm的并发度、可靠处理的特性；第6章~第8章详细而系统地讲解了几个高级特性：事务、DRPC和Trident；第9章以实例的方式讲解了Storm在实际业务场景中的应用；第10章总结了几个