- 浏览: 89262 次
- 性别:
- 来自: 北京
文章分类
当下Hadoop已经成长为一个庞大的体系,貌似只要和海量数据相关的,没有哪个领域缺少Hadoop的身影,下面是一个Hadoop生态系统的图谱,详细的列举了在Hadoop这个生态系统中出现的各种数据工具。
1.这一切,都起源自Web数据爆炸时代的来临
2.数据抓取系统 - Nutch
3.海量数据怎么存,当然是用分布式文件系统 - HDFS
4.数据怎么用呢,分析,处理
5.MapReduce框架,让你编写代码来实现对大数据的分析工作
6.非结构化数据(日志)收集处理 - fuse,webdav, chukwa, flume, Scribe
7.数据导入到HDFS中,至此RDBSM也可以加入HDFS的狂欢了 - Hiho, sqoop
8.MapReduce太麻烦,好吧,让你用熟悉的方式来操作Hadoop里的数据 – Pig, Hive, Jaql
9.让你的数据可见 - drilldown, Intellicus
10.用高级语言管理你的任务流 – oozie, Cascading
11.Hadoop当然也有自己的监控管理工具 – Hue, karmasphere, eclipse plugin, cacti, ganglia
12.数据序列化处理与任务调度 – Avro, Zookeeper
13.更多构建在Hadoop上层的服务 – Mahout, Elastic map Reduce
14.OLTP存储系统 – Hbase
1.这一切,都起源自Web数据爆炸时代的来临
2.数据抓取系统 - Nutch
3.海量数据怎么存,当然是用分布式文件系统 - HDFS
4.数据怎么用呢,分析,处理
5.MapReduce框架,让你编写代码来实现对大数据的分析工作
6.非结构化数据(日志)收集处理 - fuse,webdav, chukwa, flume, Scribe
7.数据导入到HDFS中,至此RDBSM也可以加入HDFS的狂欢了 - Hiho, sqoop
8.MapReduce太麻烦,好吧,让你用熟悉的方式来操作Hadoop里的数据 – Pig, Hive, Jaql
9.让你的数据可见 - drilldown, Intellicus
10.用高级语言管理你的任务流 – oozie, Cascading
11.Hadoop当然也有自己的监控管理工具 – Hue, karmasphere, eclipse plugin, cacti, ganglia
12.数据序列化处理与任务调度 – Avro, Zookeeper
13.更多构建在Hadoop上层的服务 – Mahout, Elastic map Reduce
14.OLTP存储系统 – Hbase
发表评论
-
svn分支合并到主线的十大注意事项
2013-04-07 10:39 0svn是java软件工程师常用的版本控制工具,但是对于分支到主 ... -
一种JavaWeb项目开发部署方式
2012-11-16 09:37 1100以前在myeclipse开发Java Web项目的时候 ... -
tomcat支持中文路径图片问题
2012-11-12 14:51 2646今天,上传图片,但是有文件夹是中文的或是图片文件名是中 ... -
已经安装jdk了,运行applet还是提示安装问题解决
2012-11-08 10:57 1247今天,同事的机子已经装了jdk,但是运行带有ap ... -
dojo笔记-初识dojo
2012-11-05 18:29 861dojo,一个js框架或类库,强大的面向对象的功能,强 ... -
集成到项目中web.xml报taglib标签错误
2012-10-31 15:45 808web.xml的报错位置: <taglib> ... -
润乾报表报错
2012-10-31 15:44 14981,runqianReportLogger : [DEBUG] ... -
使用润乾报表工具过程、心得和体会
2012-10-31 15:41 5603现在做的这个项目,需要导出相关报表,正好前几个 ... -
(转)Java开源软件六大帮派
2012-10-25 10:40 752原文链接:http://www.oschina.net/que ... -
windows下查看端口被占用的程序
2012-10-23 18:17 1265今天,莫名其妙,tomcat启动不了,报端口绑定错误, ... -
window.createPopup弹窗
2012-10-23 17:04 785在浏览器中,除了div弹窗、alert弹窗、新窗口弹窗 ... -
Linux安装jdk详解
2012-10-22 16:34 7181,下载JDK,肯定官网下载,有多种类型,源码包、bin包、r ... -
(转)Linux设备命名规则
2012-10-19 15:21 1045在我们使用的计算机中 ... -
(转)js控制IE打印功能
2012-10-19 09:07 1391今天做了个JS控制IE打印功能, 原始链接为:http://h ... -
(转)Java几款性能分析工具的对比
2012-10-18 11:04 740在给客户进行应用程序维护的过程中,我注意到一些关于高负载条件下 ... -
apache软件基金会探究流程
2012-10-17 16:06 9261,简介: Apache软件基金会(也就是Ap ... -
Apache官网开源项目列表
2012-10-17 15:34 4453目前只提供这些,大部分是网上摘抄,希望自己有机会把他补充完整, ... -
软件架构(转)
2012-10-16 16:13 7611,架构师之路http://hi.baidu.com/vfeq ... -
Windows编程之钩子程序
2012-10-15 09:20 20581,钩子(Hook),是Windows消息处理机制的一个平台, ... -
(转)编程竞赛的几个在线提交系统
2012-10-12 14:28 1015下面是几个比较大的在线提交系统(Online Judge)里面 ...
相关推荐
海量数据处理-Hadoop生态系统和成功案例
Apache Hadoop和Hadoop生态系统.pdf 学习资料 复习资料 教学资源
《Hadoop生态系统》
Hadoop生态圈介绍及入门
hadoop大数据生态,大数据分布式引擎数据分析,思维导图,知识点总结,快速掌握,包括hadoop spark hive elasticsearch kafka
Hadoop生态圈,讲解,带你深入了解Hadoop平台。
第1周 Hadoop生态系统以及版本演化
详细介绍了hadoop生态圈,包括 基础介绍 HDFS, HDFS 2 MapReduce, YARN 以下简要介绍 Pig Hive Hbase, HOYA Mahout 其它
hadoop生态圈组件搭建全过程,介绍如何安装一套大数据计算框架的过程。
简单介绍hadoop生态系统、spark、scala
本文综述了基于Hadoop生态系统的大数据解决方案,介绍了Hadoop生态系统的概念、优势和关键技术,并总结了其在各行业中的实际应用情况。 Hadoop生态系统是一个开源的大数据处理框架,包括HDFS和MapReduce等组件,...
Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。
Hadoop生态环境部署手册_V1.0.doc
本人写的大数据平台搭建教程,包含基于hive的离线分析、基于storm的实时分析、包含solrcloud和hbase的搜索架构等基础组件的配置及整合
Hadoop生态系统基本介绍(60张幻灯片,包含大量图).pptx
主要描述Hadoop生态系统特点概述以及各个版本演化过程
本文是HADOOP生态系统的基础教程,介绍HADOOP主要组件如HIVE,HDFS,HBASE, ZOOKEEPER ,MAPREDUCE, PIG, MAHOUT的概念,特点,运行流程等。
最新Hadoop生态圈开发学习资料 Linux、Hadoop、HDFS、Zookeeper、Hive、Flume、Kafka、等等
这是一个Hadoop生态系统及其版本演化,对刚入门了解云计算与大数据的同学有很大的帮助,欢迎大家下载
在Ubuntu系统下安装Hadoop圈中的部分软件。 VMWare Ubuntu SSH JDK Hadoop MySQL Hive Hbase Mahout Sqoop Spark Flume Kafka ElasticSearch Redis Phoenix