hdfs应用场景,hdfs可以高效存储大量的小文件

hdfs应用场景,hdfs可以高效存储大量的小文件

˙▂˙ 今天我们主要讲的是HDFS，hadoop分布式文件系统，它起源于Google的GFS，但是GFS是用inc++编写的，而Hadoop是由Yahoo的DougCutting用J​​ava编写的。 2008年，Hadoop成为Apache顶级项目。为了控制这部分成本，得物在FlinkCheckpoint场景下进行了自建HDFS的实现，每年实现成本节约xxx万元。 这次分享自建HDFS在实时计算检查点场景的实践经验，希望对大家有所帮助

￣□￣｜｜ 由于使用高度可移植的Java语言，HDFScanbed部署在多种类型的机器上。 典型的部署方案是在一台计算机上仅运行一个名称节点实例，而集群中的其他计算机则运行一个数据节点实例。 这种架构并不排除HDFS的特点和应用场景，它适合存储大文件。HDFS支持GB级甚至TB级文件。它将大文件分成几个块，存储在不同的节点上。在读写大文件时，使用并行的方法来提高数据吞吐量。

1）数据的分布式存储和处理。 2）Hadoop提供了与HDFS交互的命令接口。 3）内置的名称节点和数据节点服务器帮助用户轻松检查集群的状态。 4）HDFS上的应用文件系统数据主要采用流式数据访问（StreamingDataAccess）。 HDFS设计用于批处理，而不是用户交互。 相比于数据访问的响应时间，更强调数据访问的高吞吐量。 流式数据访问（第1部分）

DougCutting后来基于GFS论文创建了一个新的文件系统，称为HDFS2。HDFS应用场景2.1适合存储非常大文件的应用场景：这里的非常大指的是几百MB。在Hadoop中，HDFS是存储层，YAR是调度层，MapReduce是应用层。HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）。具有容量大、可靠性高、成本低的特点。 其中客户