KuDu

一概述

背景介绍

在KUDU之前，大数据主要以两种方式存储；

Kafka消息队列

一消息队列概述

1 kafka企业级消息系统kafka企业级消息系统

为何使用消息系统

Hue

一概述

HUE=Hadoop User Experience

Hive

hive中所有查询除了select * from table 其他都要通过MapReduce方式执行 即使只有一行一列 如不是select * from table 也要查询8,9秒.

Hadoop的核心 Hdfs

1. HDFS概述

1.1 介绍

在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。

一 简介

impala来自于cloudera，后来贡献给了apache

离线处理与实时处理

离线处理方面Hadoop提供了很好的解决方案，但是针对海量数据的实时处理却一直没有比较好的解决方案

Hbase增强

一 Hbase与MapReduce的集成

HBase当中的数据最终都是存储在HDFS上面的，HBase天生的支持MR的操作，我们可以通过MR直接处理HBase当中的数据，并且MR可以将处理后的结果直接存储到HBase当中去

Sqoop

一 简介

Apache Sqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。