1. hadoop概念
Provide easy but general model for programmers to use cluster resources
Hide network communication (i.e. RPCs)
Hide storage details, file chunks are automatically distributed and replicated
Provide transparent fault tolerance
Failed tasks are automatically rescheduled on live nodes
High throughput and automatic load balancing
E.g. scheduling tasks on nodes that already have data
2. dbms vs bigtable
3. hadoop 特性
1>流动的计算:而不是让数据流动;其实hadoop自动将数据分片存储到集群,每个节点尽力只计算自己节点的data;
2>可靠性,容错性:自动分派数据和负载均衡;将坏掉的节点的任务自动分派给其他持有此节点数据的其他节点上去执行;
3>数据冗余:每份数据最少存在3份:除了自身机器,并将数据存在于同机架和不同机架各一份;
4>伸缩性:可以通过增加机器数量增强计算和存储;满足不断膨胀的需求。
5>开发友好性:开发人员很容易编写m/r;不用关注hadoop/hdfs的内部实现;而且配置简单。
6> 经济:利用廉价pc机器搭建强大的计算平台;
4. map/reducer
1>利用stream 跨语言支持写M/R;
- 大小: 45.7 KB
分享到:
相关推荐
使用高级Hadoop概念设计,构建和执行有效的大数据策略Apache Hadoop是用于分布式存储和数据处理的最受欢迎的大数据解决方案之一。 该学习路径将使您能够轻松地使用Hadoop以及一系列其他大数据工具来构建解决方案。 ...
Hadoop基本概念与架构,背景介绍和hadoop介绍,Hadoop生态系统介绍
hadoop框架教材,研究生课程讲义,主要介绍hadoop概念及使用
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
Hadoop Hive HBase Spark Storm概念解释
在关键问题领域对基础概念和实战方法做了权衡,例如导入导出、序列化,以及LZO压缩。你将会学习到每个技术的细节,以及当遇到一个具体问题时能够给出对应的解决方案。本书提供了结构良好且易于理解的例子,可用于...
hadoop基本概念共10页.pdf.zip
Hadoop基本概念与架构.ppt
Hadoop 安装 学习 入门教程 Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, ...在Hadoop原有技术基础之上,出现了Hadoop家族产品,通过“大数据”概念不断创新,推出科技进步。
针对数据分析介绍分布式计算涉及的大量概念、工具和技术,纵览Hadoop生态系统。
自己整理的入门级hadoop概述,把知识点系统的整理了一下。简单介绍了一下hadoop的概念、基本框架等。
主要内容包括:第1章~第4章讲解大数据系统的基本概念、Hadoop系统的关键概念,以及进行Hadoop平台管理的关键概念要素。第5章~第7章是本书的重点,深入分析了MapReduce框架,不仅包括MapReduce框架的API,还介绍...
HADOOP硬实战 Hadoop是一个开源的MapReduce平台,设计运行在大型分布式集群环境中,提供查询和分析...·Hadoop和MapReduce的基本概念 ·85个实战和测试技术 ·真实的场景,实用的解决方案 ·如何整合MapReduce和R
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章,3个附录,涉及的主题包括:Haddoop简介;MapReduce简介;Hadoop分布式文件系统;Hadoop...
文档介绍了Hadoop的概念,架构等。然后介绍了Hadoop集群
3,全程实操,边操作边讲解,不再只听概念。 适用人群 1、对大数据安全机制方面技术感兴趣的在校生及应届毕业生。 2、Hadoop从业者,希望进一步提升个人技能,拓展职业路线。 3、对大数据行业感兴趣的相关人员。 ...
个人学习spark mllib及hadoop的一些笔记
Hadoop技术大数据概念共31页.pdf.zip
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...