3466次浏览
“授人以鱼不如授人以渔”，《分布式实时计算框架原理及实践案例》是作者以如此初心写成的，主要参考当前主流分布式实时计算框架Storm的任务分发和Spark Streaming的Mini-Batch设计思想，以及底层实现技术，开源了作者自研的轻量级分布式实时计算框架——Light_drtc，并且重点介绍设计思想和相关实现技术（Kafka/RabbitMQ、Redis/SSDB 、GuavaCache、MongoDB、HBase、ES／SolrCloud、Thrift、Avro、Jetty），后从工程角度向大家介绍完整的个性化推荐系统，并实例介绍Light_drtc在用户画像实时更新的应用。《分布式实时计算框架原理及实践案例》描述浅显易懂，希望读者理解分布式实时计算的实现原理，并快速上手解决实际问题。第1 章 分布式实时计算框架介绍.1 1.1 分布式计算Hadoop.1 1.2 分布式实时计算........3 1.2.1 Spark Streaming..3 1.2.2 Storm .......6 1.2.3 其他框架.8 1.3 为什么自研......8 1.4 总结......10
5588次浏览
Spark SQL 是 Spark 技术体系中较有影响力的应用（Killer application），也是 SQL-on-Hadoop 解决方案 中举足轻重的产品。《Spark SQL内核剖析》由 11 章构成，从源码层面深入介绍 Spark SQL 内部实现机制，以及在实际业务场 景中的开发实践，其中包括 SQL 编译实现、逻辑计划的生成与优化、物理计划的生成与优化、Aggregation 算子和 Join 算子的实现与执行、Tungsten 优化技术、生产环境中的一些改造优化经验等。《Spark SQL内核剖析》不属于入门级教程，需要读者对基本概念有一定的了解。在企业中任职的系统架构师和软件开发人员，以及对大数据、分布式计算和数据库系统实现感兴趣的研究人员，均适合阅读《Spark SQL内核剖析》。第 1 章 Spark SQL 背景 1 1.1 大数据与 Spark 系统 1 1.2 关系模型与 SQL 语言 3 1.3 Spark SQL 发展历程 4 1.4 本章小结 5 第 2 章 Spark 基础知识介绍 6 2.1 RDD 编程模型 6 2.2 DataFrame 与
3097次浏览
《Apache Spark源码剖析》以Spark 1.02版本源码为切入点，着力于探寻Spark所要解决的主要问题及其解决办法，通过一系列精心设计的小实验来分析每一步背后的处理逻辑。《Apache Spark源码剖析》第3~5章详细介绍了Spark Core中作业的提交与执行，对容错处理也进行了详细分析，有助读者深刻把握Spark实现机理。第6~9章对Spark Lib库进行了初步的探索。在对源码有了一定的分析之后，读者可尽快掌握Spark技术。《Apache Spark源码剖析》对于Spark应用开发人员及Spark集群管理人员都有极好的学习价值；对于那些想从源码学习而又不知如何入手的读者，也不失为一种借鉴。第一部分Spark概述1 第1章初识Spark 3 1.1 大数据和Spark 3 1.1.1 大数据的由来4 1.1.2 大数据的分析4 1.1.3 Hadoop 5 1.1.4 Spark简介6 1.2 与Spark的第一次亲密接触7 1.2.1 环境准备7 1.2.2 下载安装Spark 8 1.2.3 Spark下的WordCount 8 第二部分Spark核心概念13
2800次浏览
《Spark大数据处理：技术、应用与性能优化》根据最新技术版本，系统、全面、详细讲解Spark的各项功能使用、原理机制、技术细节、应用方法、性能优化，以及BDAS生态系统的相关技术。作为一个基于内存计算的大数据并行计算框架，Spark不仅很好地解决了数据的实时处理问题，而且保证了高容错性和高可伸缩性。具体来讲，它有如下优势：打造全栈多计算范式的高效数据流水线轻量级快速处理易于使用，支持多语言与HDFS等存储层兼容社区活跃度高……Spark已经在全球范围内广泛使用，无论是Intel、Yahoo!、Twitter、阿里巴巴、百度、腾讯等国际互联网巨头，还是一些尚处于成长期的小公司，都在使用Spark。本书作者结合自己在微软和IBM实践Spark的经历和经验，编写了这本书。站着初学者的角度，不仅系统、全面地讲解了Spark的各项功能及其使用方法，而且较深入地探讨了Spark的工作机制、运行原理以及BDAS生态系统中的其他技术，同时还有一些可供操作的案例，能让没有经验的读者迅速掌握Spark。更为重要的是，本书还对Spark的性能优化进行了探讨。前 言 第1章 Spark简介 1 1.1 Sp
2808次浏览
《图解Spark：核心技术与案例实战》以Spark 2.0 版本为基础进行编写，全面介绍了Spark 核心及其生态圈组件技术。主要内容包括Spark 生态圈、实战环境搭建、编程模型和内部重要模块的分析，重点介绍了消息通信框架、作业调度、容错执行、监控管理、存储管理以及运行框架，同时还介绍了Spark 生态圈相关组件，包括Spark SQL 的即席查询、Spark Streaming 的实时流处理应用、MLbase/MLlib 的机器学习、GraphX 的图处理、SparkR 的数学计算和Alluxio 的分布式内存文件系统等。《图解Spark：核心技术与案例实战》从Spark 核心技术进行深入分析，重要章节会结合源代码解读其实现原理，围绕着技术原理介绍了相关典型实例，读者通过这些实例可以更加深入地理解Spark 的运行机制。另外《图解Spark：核心技术与案例实战》还应用了大量的图表进行说明，让读者能够更加直观地理解Spark 相关原理。通过《图解Spark：核心技术与案例实战》，读者将能够很快地熟悉和掌握Spark 大数据分析计算的利器，在生产中解决实际问题。第一篇 基础篇 第1章
4345次浏览
大数据技术让我们以一种的方式，对海量数据进行分析，从中获得有巨大价值的产品和服务，*终形成变革之力。本书围绕Hadoop和Spark两个主流大数据技术进行讲解，主要内容包括Hadoop环境配置、Hadoop分布式文件（HDFS）、Hadoop分布式计算框架MapReduce、Hadoop资源调度框架YARN与Hadoop新特性、Hadoop分布式数据库HBase、数据仓库Hive、大数据离线处理辅助、Spark Core、Spark SQL、Spark Streaming等知识。本书紧密结合实际应用，运用大量案例说明和实践，提炼含金量十足的开发经验。另外，本书配以多元的学习资源和支持服务，包括视频教程、案例素材下载、学习交流社区、讨论组等学习内容，为读者带来全方位的学习体验。序言前言关于引用作品的版权声明第 1章Hadoop初体验 1任务1初识大数据 21．1．1 大数据基本概念 21．1．2 大数据带来的挑战 3任务2初识Hadoop 31．2．1 Hadoop概述 41．2．2 Hadoop生态圈 61．2．3 Hadoop应用案例 8任务3安装Hadoop平台 91．3．1 安装
3401次浏览
《企业大数据处理：Spark、Druid、Flume与Kafka应用实践》是一本立足于企业真实的商用项目来讲解如何高效从事大数据实践的著作。技术层面，从全栈的角度系统梳理和详尽讲解了大数据的核心技术，包括Spark、Druid、Flume、Kafka等，让我们在纷繁复杂的技术中少走弯路；经验层面，为企业的大数据技术选型和大数据平台建设提供了成熟的解决方案；实操层面，提供了大量的案例，其中包括2个综合性的案例。全书一共分为三个部分：第一部分（第1章）：主要介绍了企业大数据系统的前期准备工作，包括构建企业大数据处理系统需要的软件环境和集群环境是如何搭建的。第二部分（第2~7章）：依次重点讲解了Spark的基本原理、使用方法和优化方式；Druid的基本原理、集群的搭建过程，以及相关的各种操作；日志收集系统Flume的基本架构、关键组件，以及分层日志收集架构的设计与实践；分布式消息队列Kafka的基本架构和集群搭建过程，以及使用Java语言实现客户端API的详细过程。第三部分（第8~9章）：详细讲解了企业大数据处理的两个实际应用案例，分别是基于Druid构建多维数据分析平台和基于JMX指标的监
4416次浏览
《深入理解SPARK：核心思想与源码分析》结合大量图和示例，对Spark的架构、部署模式和工作模块的设计理念、实现源码与使用技巧进行了深入的剖析与解读。《深入理解SPARK：核心思想与源码分析》一书对Spark1.2.0版本的源代码进行了全面而深入的分析，旨在为Spark的优化、定制和扩展提供原理性的指导。阿里巴巴集团专家鼎力推荐、阿里巴巴资深Java开发和大数据专家撰写。本书分为三篇：准备篇（第1～2章），介绍了Spark的环境搭建、设计理念与基本架构，帮助读者了解一些背景知识。核心设计篇（第3～7章），着重讲解SparkContext的初始化、存储体系、任务提交与执行、计算引擎及部署模式的原理和源码分析。通过这部分的内容，读者可以通过源码剖析更加深入理解Spark的核心设计与实现，以便在实际使用中能够快速解决线上问题并对性能进行调优。扩展篇（第8～11章），主要讲解基于Spark核心的各种扩展及应用，包括SQL处理引擎、Hive处理、流式计算框架Spark Streaming、图计算框架GraphX、机器学习库MLlib等内容。通过阅读这部分内容，读者可以扩展实际项目中对Spark
