通过遵循最佳做法来提高 EDA 和 HPC 应用程序的 Azure NetApp 文件性能

本文介绍: 回顾一下，你使用 Azure NetApp 文件作为后端存储解决方案，以便在 Azure 上运行 HPC 和 EDA 应用程序。你需要了解性能技巧和最佳做法，以提高这些应用程序的 Azure NetApp 文件性能。本模块介绍了关于参考体系结构、客户端 VM 和网络的性能建议。然后，我们讨论了几个性能技巧，包括装载选项和客户端 VM 配置。最后，我们检查了 SPEC EDA 和 FIO 基准检验结果，以验证所讨论的性能技巧。

Azure NetApp 文件是一项托管存储解决方案，适用于各种方案，包括高性能计算 (HPC) 基础结构。低延迟和每秒高 I/O 操作数 (IOPS) 对于大规模企业而言是一种很好的组合。

假设你就职于一家半导体公司。你的任务是设计公司的集成电路芯片，其需要很多电子设计自动化 (EDA) 模拟。你在本地没有足够的容量用于此项目，因此你决定使用 Azure 来满足那些 HPC 模拟需求。

管理层希望你能够及时且经济高效地完成此项目。你选择 Azure NetApp 文件作为后端存储解决方案，因为它提供了与本地类似的体验和性能。你需要了解性能技巧和最佳做法，以提高 EDA 应用程序的 Azure NetApp 文件性能。

本模块介绍关于参考体系结构、客户端虚拟机 (VM) 和网络的性能建议。接下来，我们讨论性能技巧，包括装载选项和客户端 VM 配置。最后，我们检查基准检验结果，以验证所讨论的性能技巧。

学习完本模块以后，您将能够：

在此模块中，我们介绍在 Azure NetApp 文件上运行 EDA 应用程序时关于参考体系结构、客户端 VM 和网络的性能建议。

sudo yum update
sudo yum update nfs-utils

例如，我们建议为 EDA 工具和库卷设置 "nocto,actimeo=600"。由于这些文件不会发生变化，因此无需维护缓存一致性。设置这些装载选项后，即无需调用元数据并可提高整体性能。

sudo systemctl enable --now tuned
sudo tuned-adm profile latency-performance

#
# Recommended client tuning 
#
# For more information, see sysctl.conf(5) and sysctl.d(5)
# Network parameters, in units of bytes
net.core.wmem_max = 16777216
net.core.wmem_default = 1048576
net.core.rmem_max = 16777216
net.core.rmem_default = 1048576
net.ipv4.tcp_rmem = 1048576 8388608 16777216
net.ipv4.tcp_wmem = 1048576 8388608 16777216
net.core.optmem_max = 2048000
net.core.somaxconn = 65535
#
# These settings are in 4-KiB chunks, in bytes:
# Min=16MiB, Def=350MiB, Max=16GiB
# In units of 4K pages
net.ipv4.tcp_mem = 4096 89600 4194304
#
# Miscellaneous network options and flags
#
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_sack = 1
net.ipv4.tcp_no_metrics_save = 1
net.ipv4.route.flush = 1
net.ipv4.tcp_low_latency = 1
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_slow_start_after_idle = 0
net.core.netdev_max_backlog = 300000
#
# Various file system and page cache options
#
vm.dirty_expire_centisecs = 100
vm.dirty_writeback_centisecs = 100
vm.dirty_ratio = 20
vm.dirty_background_ratio = 5
#
# Recommended by: https://cromwell-intl.com/open-source/performance-tuning/tcp.html
#
net.ipv4.tcp_sack = 0
net.ipv4.tcp_dsack = 0
net.ipv4.tcp_fack = 0

sudo sysctl -P

uname -r

客户端数量越小，nconnect 帮助提高性能的价值就越高，因为它可能会利用所有网络带宽。它的价值随着客户端数量增加而逐渐减少，因为总共只有一定数量的带宽。

如果使用的是 nconnect=8 或 16，请考虑设置 sunrpc.tpc_max_slot_table_entries=256 或 512。

nconnect 选项仅适用于 Linux 内核 5.3 + VM。升级内核时，可能需要重启 VM。也就是说，它可能不适用于某些案例。

hard和 soft 装载选项指定使用 NFS 文件的程序是否应执行下列操作之一：

intr 装载选项允许在装载被指定为 hard 装载时中断 NFS 进程。建议在适用时结合使用 intr 与 hard 装载。

下面的示例代码通过使用上述适用于 actimeo、nocto、NFSv3、nconnect、rsize、wsize、hard、intr、tcp 的最佳做法和默认 MTU (1,500) 来装载 Azure NetApp 文件卷：

sudo mount -t nfs -o rw,nconnect=16,nocto,actimeo=600,hard,intr,rsize=262144,wsize=262144,vers=3,tcp 10.1.x.x:/ultravol ultravol

下图表明，rsize=wsize=262144(256 K) 的性能优于其他设置。

// FIO commands to benchmark IOPS:
// 8K Random Reads
fio --name=8krandomreads --rw=randread --direct=1 --ioengine=libaio --bs=8k --numjobs=4 --iodepth=128 --size=4G --runtime=600 --group_reporting
// 8K Random Writes
fio --name=8krandomwrites --rw=randwrite --direct=1 --ioengine=libaio --bs=8k --numjobs=4 --iodepth=128 --size=4G --runtime=600 --group_reporting

// FIO commands to benchmark throughput:
// 64K Sequential Reads
fio --name=64kseqreads --rw=read --direct=1 --ioengine=libaio --bs=64k --numjobs=4 --iodepth=128 --size=4G --runtime=600 --group_reporting
// 64K Sequential Writes
fio --name=64kseqwrites --rw=write --direct=1 --ioengine=libaio --bs=64k --numjobs=4 --iodepth=128 --size=4G --runtime=600 --group_reporting

以下两个图表明了在优化 nocto,actimeo=600、nconnect=16 和 sysctl 时，Azure NetApp 文件可以实现更高的 IOPS 和吞吐量。