第2版高性能计算技术、方案和行业全面解析( 三 ) _云知道

BeeGFS高性能存储解决方案组网方案元数据和存储服务器都采用PowerEdgeR740xd ，每个服务器配24*Intel P4600 1.6TB NVMe ， 2*Mellanox EDR适配器。
服务器内2个x16 NVMe桥接卡做为底板上的PCIe交换板，分别连接12*NVMe磁盘（驱动器为x4）和一个CPU ，在Non-Uniform MemoryAccess (NUMA) ， CPU访问本地内存效率更高， 24个磁盘中，为了优化性能和时延，将配置为使用特定的NUMA区域，每个NUMA区域可处理12个驱动器，关闭自动NUMA平衡。

同时，每个CPU连接到一个InfiniBand适配器， 2张IB卡分别处理不同NUMA区域12块NVMe SSD ，确保处理器在处理往返于NVMe驱动器的I /O请求处于负载均衡，以提供最佳性能。

BeeGFS高性能存储解决方案软硬件配置管理服务器服务器1个戴尔EMC PowerEdge R640处理器2个Intel Xeon Gold5218 2.3 GHz ， 16核内存12个8GB DDR4 2666MT / sDIMM-96GB本地磁盘6个300GB 15K RPM SAS2.5英寸硬盘RAID控制器PERC H740P集成RAID控制器带外管理带Lifecycle Controller的iDRAC9 Enterprise电源双1100W电源设备BIOS2.2.11操作系统CentOS?7.6内核版本3.10.0-957.27.2.el7.x86_64 元数据和存储服务器服务器6个戴尔EMC PowerEdge R740xd处理器2个Intel Xeon Platinum8268 CPU @ 2.90GHz ， 24核内存12 x 32GB DDR4 2933MT / s DIMM-384GBBOSS卡RAID1中的2个240GB M.2 SATA SSD用于操作系统本地驱动器24个Dell Express FlashNVMe P4600 1.6TB 2.5“ U.2MellanoxEDR卡2个Mellanox ConnectX-5EDR卡（插槽1和8）带外管理带Lifecycle Controller的iDRAC9 Enterprise电源双路2000W电源单元客户端服务器客户端32个Dell EMC PowerEdgeC6420计算节点BIOS2.2.9处理器2个Intel Xeon Gold6148 CPU @ 2.40GHz ，每个处理器20个核记忆12 x 16GB DDR4 2666 MT / s DIMM-192GB磁盘2个120GB M.2 OS驱动器， RAID1配置操作系统红帽企业版Linux服务器7.6版内核版本3.10.0-957.el7.x86_64互连线1个Mellanox ConnectX-4EDR卡OFED版本4.5-1.0.1.0 软件配置（元数据和存储服务器）BIOS2.2.11CPLD1.1.3操作系统CentOS7.6内核版本3.10.0-957.el7.x86_64iDRAC3.34.34.34系统管理工具OpenManage服务器管理器9.3.0-407_A00MellanoxOFED4.5-1.0.1.0NVMe固态硬盘QDV1DP13英特尔?数据中心工具3.0.19BeeGFS7.1.3Grafana6.3.2InfluxDB1.7.7IOzoneBenchmark3.487 BeeGFS高性能存储解决方案性能测试测试工具Iozone ，基准测试评估了顺序读取/写入吞吐量，随机读取/写入IOPS性能。
线程数从1个线程开始，以2的幂递增，直到1024个线程。BeeGFS的条带大小选择为2MB ，条带数选择为3（默认4），测试最大程度地减少来自服务器以及BeeGFS客户端的缓存影响

顺序读写N:N（每个线程对一个文件或N个客户端对N个文件）：1024个线程的峰值读取性能为132 GB/s ， 256个线程的峰值写入性能为121 GB/s 。
顺序写和读：iozone -i 0 -i 1 -c -e -w -r 1m -I -s $ Size -t $Thread-+ n-+ m / path / to / threadlist

测试从4个线程到最多1024个线程的线程数进行，有操作都绕过缓冲区缓存并直接进入磁盘。BeeGFS的条带计数为3 ，块大小为2MB 。IOzone使用4KiB请求大小。
随机读写N:N：512个线程处随机写入性能约360万IOPS ，而随机读取在256个线程处达到约350万IOPS ， IO请求增加时，读取性能上升（NVMe支持64K IO队列，每个队列支持64K命令，庞大的NVMe队列池提供更高IO并行性。