大数据学习的基础知识

大数据学习的基础知识，随着互联网科技的发展，新型技术行业如人工智能等高科技领域人才需求不断扩大。其中大数据行业的发展前景也是相当好。导致很多人跟风报名，结果就是好多人哭喊大数据好难学。但是，大数据真的这么难吗？大数据基础学习内容是什么？大家不妨先了解一下再决定要不要继续学习。

Hadoop：重点中的重点。Hadoop的框架最核心的设计就是：HDFS和MapReduce，Hadoop的思想：处理数据的思想。Hadoop用Java编写的开源软件框架，用于分布式存储，并对非常大的数据集进行分布式处理,用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群进行高速运算和存储。

HDFS：Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS为海量的数据提供了存储，MapReduce则为海量的数据提供了计算。

NameNode：NameNode是一个通常在HDFS实例中的单独机器上运行的软件，它负责管理文件系统名称空间和控制外部客户机的访问。NameNode 决定是否将文件映射到。

DataNode:DataNode也是一个通常在HDFS实例中的单独机器上运行的软件。Hadoop 集群包含一个 NameNode 和大量 DataNode。DataNode 通常以机架的形式组织，机架通过一个交换机将所有系统连接起来。Hadoop 的一个假设是：机架内部节点之间的传输速度快于机架间节点的传输速度。

MapReduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算

Hive（MPP架构）:大数据数据仓库，通过写SQL对数据进行操作，类似于mysql数据库中的sql。

Hbase基于HDFS的NOSQL数据库，面向列的存储。

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

Kylin（中国自主知识产权操作系统）Kylin操作系统是国家高技术研究发展计划（863计划）的重大成果之一，是以国防科技大学为主导，与中软、联想等单位联合设计和开发的具有完全自主版权，可支持多种微处理器和多种计算机体系结构，具有高性能、高可用性和高安全性，并与Linux应用二进制兼容的国产中文服务器操作系统。

cluster代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。

上面列出的基础内容，还不了解的小伙伴可能要加油学习了。而学习过却掌握不牢固的同学可以针对薄弱的地方去报线上课，进行辅助学习。学习平台推荐教育培训网，除了上课也可以看看先关资讯做一个知识扩充。