hadoop:文件系统、元数据、文件系统分类、海量数据存储的问题

介绍

  • 是一种 存储 和 组织数据 的方法,它使得对文件访问和查找变得容易

  • 使用 文件 和 树形目录 的抽象逻辑概念,代替了硬盘等物理设备使用数据块的概念。用户使用 文件系统 来保存数据,不必关心数据底层是如何在磁盘上存储的

文件名

文件名可用于用于 定位存储位置、区分不同文件,计算机实行按名存取的操作方式

  • windows 操作系统中,文件名由 文件名 和 扩展名 组成,之间以 . 分割。不能出现特殊符号,如:*、/ 等符号

  • linux 系统,可以没有 扩展名。不能出现特殊符号,如:(等符号

元数据

元数据(metadata)又称之为解释性数据,记录数据的数据

文件系统 元数据 一般指文件大小、最后修改时间、底层存储位置、属性、所属用户、权限等信息

文件系统分类

磁盘文件系统

磁盘、U盘、移动硬盘等,常见文件系统包括:

  • linux的 Ext2/3/4、XFS,Linux中可以使用 df -Th 查看

  • windows的 NTFS、FAT

网络文件系统

网络文件系统(NFS,Network File System)是一种将远程主机上的分区(目录)经网络挂载到本地系统的一种机制。
允许本地计算机访问另一台计算机上的数据,对此类文件系统中文件的操作都通过网络连接进行。

分布式文件系统

海量数据存储的问题

成本高

传统存储硬件通用性差,设备投资加上后期维护、升级扩容的成本非常高

性能低

一台服务器 I/O性能瓶颈无法逾越,难以支撑海量数据的高并发高吞吐场景

可扩展性差

无法实现快速部署和弹性扩展,动态扩容、缩容成本高,技术实现难度大

无法高效计算分析

传统存储方式,数据存储 与 数据计算 是分开的,一般由不同的技术厂商实现 无法有机统一整合在一起

当需要处理数据的时候,需要读取数据,但读取 TB、PB级别的海量数据,效率非常低下


原文出处:/show_1IX28yS2DyqJ.html