2020-04-28 08:41 3777次浏览 0条评论

“授人以鱼不如授人以渔”，《分布式实时计算框架原理及实践案例》是作者以如此初心写成的，主要参考当前主流分布式实时计算框架Storm的任务分发和Spark Streaming的Mini-Batch设计思想，以及底层实现技术，开源了作者自研的轻量级分布式实时计算框架——Light_drtc，并且重点介绍设计思想和相关实现技术（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），后从工程角度向大家介绍完整的个性化推荐系统，并实例介绍Light_drtc在用户画像实时更新的应用。《分布式实时计算框架原理及实践案例》描述浅显易懂，希望读者理解分布式实时计算的实现原理，并快速上手解决实际问题。第1 章 分布式实时计算框架介绍.1 1.1 分布式计算Hadoop.1 1.2 分布式实时计算........3 1.2.1 Spark Streaming..3 1.2.2 Storm .......6 1.2.3 其他框架.8 1.3 为什么自研......8 1.4 总结......10

2020-02-28 12:40 3322次浏览 0条评论

ODPS（Open Data Processing Service）是阿里巴巴自主研发的海量数据处理和分析的服务平台，主要应用于数据分析、海量数据统计、数据挖掘、机器学习和商业智能等领域。目前，ODPS不仅在阿里内部得到广泛应用，享有很好的口碑，正逐步走向第三方开放市场。本书是学习和掌握ODPS的权威指南，作者来自阿里ODPS团队。全书共13章，主要内容包括：ODPS入门、整体架构、数据通道、MapReduce编程、SQL查询分析、安全，以及基于真实数据的各种场景分析实战。本书基于很多范例解析，通过在各种应用场景下的示例来说明如何通过ODPS完成各种需求，以期引导读者从零开始轻松掌握和使用ODPS。同时，本书不局限于示例分析，也致力于提供更多关于大数据处理的编程思想和经验分享。书中所有示例代码都可以在作者提供的网站上免费下载。本书是学习和掌握ODPS的权威指南，作者来自阿里ODPS团队。本书包括以下重要内容：ODPS概览及其基本知识；如何高效地使用ODPS SQL；MapReduce编程和进阶应用；ODPS机器学习算法；ODPS权限、资源和数据管理；深入了解ODPS体系结构和高级机制。