云南龙网

  1. 首页 > 生活百科 > >

解析Linux新技术对象存储文件系统( 三 )

生活百科


三、测试和结论
1、Lustre iozone测试 针对对象存储文件系统，我们对Lustre文件系统作了初步测试，具体配置如下： 3台双至强系统：CPU：1.7GHz，内存：1GB，千兆位以太网 Lustre文件系统：lustre-1.0.2 【解析Linux新技术对象存储文件系统】Linux版本：RedHat 8 测试程序：iozone 测试结果如下： 块写(MB/s/thread) 单线程 两个线程 Lustre 1个OST 2个OST 1个OST 2个OST 21.7 50 12.8 24.8 NFS 12 5.8 从以上的测试表明，单一OST的写带宽比NFS好，2个OST的扩展性很好，显示strip的效果，两个线程的聚合带宽基本等于饱和带宽，但lustre客户方的CPU利用率非常高（90％以上），测试系统的规模（三个节点）受限，所以没有向上扩展OST和client数量 。另外，lustre的cache对文件写的性能提升比NFS好 。通过bonnie初步测试了lustre的元数据处理能力，和NFS比，文件创建速度相对快一些，readdir速度慢 。2、lustre小规模测试数据(文件写测试，单位KB/s)： 硬件：Dual Xeon1.7,GigE, SCSI Ultra160 软件：RedHat8，iozone图2 2个OST / 1个MDS图3 1个OST/1个MDS图4 NFS测试从初步的测试看，lustre的性能和可扩展性都不错 。与传统的文件系统相比，对象存储文件系统具有以下优势：
（1）性能 。对象存储体系结构没有其它共享存储系统中的元数据管理器瓶颈 。NAS系统使用一个集中的文件服务器作为元数据管理器，一些SAN文件系统则采用集中的锁管理器，最后元数据管理将成为一个瓶颈 。对象存储体系结构类似于SAN，每个结点都可以直接访问它的存储设备 。对象存储体系结构对SAN的改进是没有RAID控制器的瓶颈问题，当计算结点的规模增大时，该优势将非常明显，所有结点的总吞吐率最后将受限于存储系统的规模和网络的性能 。存储对象结点发送数据到OSD，OSD自动优化数据的分布，这样减少了计算结点的负担，并允许向多个OSD并行读写，最大化单个Client的吞吐率 。（2）可扩展性 。将负载分布到多个智能的OSD，并用网络和软件将它们有机结合起来，消除了可扩展问题 。一个对象存储系统有内存、处理器、磁盘系统等，允许它们增加其存储处理能力而与系统其它部分无关 。如果对象存储系统没有足够的存储处理能力，可以增加OSD，确保线性增加性能 。（3）OSD分担主要的元数据服务任务 。元数据管理能力通常是共享存储系统的瓶颈，所有计算结点和存储结点都需要访问它 。在对象存储结构中，元数据服务有两部分组成：inode元数据，管理介质上的存储块分布；文件元数据，管理文件系统的文件层次结构和目录 。对象存储结构增加了元数据访问的可扩展，OSD负责自己的inode元数据，增加一个OSD可以增加磁盘容量，并可以增加元数据管理资源 。而传统的NAS服务器增加更多的磁盘，则性能将更慢 。对象存储系统在容量扩展时，确保持续的吞吐率 。（4）易管理 。智能化的分布对象存储结构可以简化存储管理任务，可以简化数据优化分布的任务 。例如，新增存储容量可以自动合并到存储系统中，因为OSD可以接受来自计算结点发出的对象请求 。系统管理员不需要创建LUN，不需要重新调整分区，不需要重新平衡逻辑卷，不需要更新文件服务器等 。RAID块可自动扩展到新的对象，充分利用新增的OSD 。（5）安全 。传统的存储系统通常依赖于Client的身份认证和私有的网络确保系统安全 。对象存储结构在每个级别都提供安全功能，主要包括存储设备的身份认证，计算结点的身份认证，计算结点命令的身份认证，所有命令的完整性检查，基于IPSec的私有数据和命令等 。这些安全级别可以确保用户使用更高效、更易获得的网络，如以太网等 。目前panasas已经推出了商业化的对象存储全局文件系统ActiveScale，对象存储正在被重视，Lustre也已经在（ALC、MCR）或将（RedStorm）在多个大规模集群上应用，因而对象存储文件系统将成为未来集群存储的重要发展方向 。

推荐阅读


上一篇：急需5万怎么办

下一篇：绿豆稀饭怎么煮容易烂