在标题为“ 针对SAS Foundation混合工作负载的新的软件定义的融合基础结构”的技术简介中，您将了解新的软件定义的融合基础结构。 该技术简介介绍了一种架构和方法，可为用于SAS内部测试的SAS混合分析工作负载提供出色的性能。 融合基础架构的关键元素包括IBM®Elastic Storage Server（ESS），IBMPower®服务器以及Mellanox的基于以太网的存储结构。
本文介绍了测试的目的，目标和结果，包括测试背后的技术细节，测试环境的规范以及有关这些测试的测试方案和性能数据的详细信息。 最后，您将找到有关调整融合基础架构以实现最佳性能的准则。
图1说明了用于在实验室环境中使用IBM Elastic Storage Server和IBM Power E880服务器测试SAS软件的体系结构和配置。 图2显示了ESS网络配置。
本节描述了体系结构中每个组件的详细配置。
软件
SAS 9.4 TS1M3 64位 IBM AIX 7.2（7200-00-02-1614） IBMPowerVM®企业版 虚拟I / O服务器（VIOS）2.2.3.50 IBM Spectrum Scale™（以前为IBM GPFS）4.2.1.1 IBM ESS版本4.5.1 红帽7.1 MLNX-OS 3.3.6.1002网络配置
IBM Switch型号：8831-NF2（Mellanox SX1710） Mellanox ConnectX-3 40GbE适配器IBM功能代码EC3A 36端口40GbE / 56GbE交换机 MLNX-OS版本3.6.1002 全局暂停流控制已启用 仅TCP / IP流量IBM Power System E880服务器配置
型号：9119-MHE 固件版本：IBM FW830.00（SC830_048） 处理器架构：POWER8 时钟速度：4356 MHz SMT：OFF，2、4、8（SMT4是默认设置，在基准测试期间使用） 内核：64个（受测LPAR为62个内核，VIOS为2个内核） 内存：512 GB（被测试的LPAR为384 GB，VIOS为8 GB） 内置驱动器：十二个600 GB（用于引导VIOS和LPAR） 四个扩展抽屉，每个抽屉在一个x16插槽中带有一个40GbE双端口适配器（IBM Feature Code EC3A）ESS配置
型号：5146-GL4 两台IBM Power System S822L作为I / O服务器 256 GB（16 x 16GB DRAM） 用于xCat管理服务器的IBM Power System S821L服务器 IBM 7042-CR8机架安装式硬件管理控制台（HMC） 存储接口：每个I / O服务器三个LSI 9206-16e四端口6Gbps SAS适配器（A3F2） I / O网络：每个I / O服务器三个3个2端口双40GbE Mellanox ConnectX-3适配器（EC3A） 每个ESS I / O服务器的3个Mellanox适配器端口的ALB绑定 独立磁盘冗余阵列（RAID）控制器：IBM PCIe IPR SAS适配器。 每个服务器一个IPR适配器，用于每个服务器的RAID 10 OS引导驱动器 开关： 一台带有两个VLAN的1GbE交换机，为服务和管理网络提供两个隔离的子网。 IBM 8831-NF2 – 40GbE交换机，Mellanox型号SX1710 四个DCS3700 JBOD 60驱动器机箱（1818-80E，60个驱动器插槽） 每个带有58个2 TB 7.2K LN-SAS HDD +两个400 GB固态驱动器（SSD） 16条SAS电缆ESS Spectrum Scale文件系统创建
以下Spectrum Scale文件系统参数用于创建SASWORK，SASDATA和SASUTIL应用程序存储空间。 最初创建了各种文件系统块大小，并对其性能进行了测试。
通常，可以通过获取应用程序的块大小并将其乘以32来计算Spectrum Scale文件系统的块大小。IBM ESS使用GPFS本机RAID（GNR）。 一个简单的解释是，GNR将文件系统块的大小划分为32个子块，以便逐步过渡到磁盘子系统。
但是，使用256 KB的SAS BUFSIZE，在实验室环境中使用各种文件系统块大小进行的SAS工作负载测试确定8 MB或16 MB的文件系统块大小表现最佳。
示例文件系统创建和安装命令：
# gssgenvdisks --vdisk-suffix _sasdata_8m --create-vdisk --create-filesystem --filesystem-name sasdata_8m --data-vdisk-size 4000 --data-blocksize 8M # mmmount all Fri Jun 3 19:21:25 CDT 2016: mmmount: Mounting file systems ... # df -h Filesystem Size Used Avail Use% Mounted on /dev/sda3 246G 3.0G 244G 2% / devtmpfs 60G 0 60G 0% /dev tmpfs 60G 0 60G 0% /dev/shm tmpfs 60G 95M 60G 1% /run tmpfs 60G 0 60G 0% /sys/fs/cgroup /dev/sda2 497M 156M 341M 32% /boot /dev/sasdata_1m 16T 264M 16T 1% /gpfs/sasdata_1m /dev/saswork_1m 16T 264M 16T 1% /gpfs/saswork_1m /dev/sasutil_1m 7.9T 264M 7.9T 1% /gpfs/sasutil_1m /dev/sasutil_4m 7.9T 288M 7.9T 1% /gpfs/sasutil_4m /dev/saswork_4m 16T 288M 16T 1% /gpfs/saswork_4m /dev/sasdata_4m 16T 288M 16T 1% /gpfs/sasdata_4m /dev/sasdata_8m 16T 320M 16T 1% /gpfs/sasdata_8m /dev/sasutil_8m 7.9T 320M 7.9T 1% /gpfs/sasutil_8m /dev/saswork_8m 16T 16T 0 100% /gpfs/saswork_8m本节描述了用于执行测试的工作负载，测试方案以及详细的结果。
性能验证期间使用的工作负载是SAS Foundation混合分析工作负载。 该工作负载包含多个同时运行的分析作业。 这些工作强调给定IT基础架构的计算，内存和I / O功能。
工作负载包括20个单独的SAS程序测试：十个计算密集型，两个内存密集型和八个I / O密集型。 一些测试使用现有的数据存储运行，而某些测试则生成自己的数据以在测试运行期间执行。 测试是短期（以分钟为单位）和长期（以小时为单位）作业的组合。 重复测试以同时运行，或以串行方式运行，或两者都运行，以实现20个测试的平均并发工作负载或30个测试的平均并发工作负载。 20个测试的工作负载包含71个运行的作业，而30个测试的工作负载包含101个运行的作业。 在峰值负载期间，经过30个测试的工作负载可以使用55个处理器，并同时生成I / O密集型作业。
工作负载的性能指标是工作负载响应时间 （以分钟为单位），它是工作负载中所有作业的累计实时时间。 响应时间越短越好。 但是，还研究了其他性能指标，例如处理器时间（用户+系统时间），服务器利用率和I / O吞吐量。 收集这些指标是为了了解启用压缩后对性能的影响。
从SAS作业的日志文件中捕获工作负载响应时间（实时）和处理器时间（用户+系统时间）。 这些统计信息使用SAS FULLSTIMER选项记录。 从IBMPOWER7®处理器体系结构开始，IBM Power Systems™使用处理器利用率资源寄存器（PURR）计费来准确报告系统使用情况。 需要将POWER8处理器的PURR因子应用于文档中描述的处理器时间指标。 有关PURR因子的更多详细信息，请参阅“ 在具有IBM XIV存储系统和IBM FlashSystem的基于IBM POWER8处理器的系统上进行SAS Business Analytics部署 ”并阅读其附录B。
作为基准测试的一部分，运行了以下方案：
单节点测试：20次测试混合分析工作负载 可伸缩性测试：20次和30次测试的混合分析工作负载 使用以56GbE速度运行的Mellanox光纤网进行测试：30次测试混合分析工作负载该测试是在服务器和存储系统上都没有竞争性工作负载的情况下进行的。 测试团队收集了工作负载，主机端和存储端性能指标，并在基准测试和最终测试之间进行了比较。
本节描述了执行的测试方案的结果。
单节点测试：20次测试混合分析工作负载
用于测试20个测试的混合分析工作负载的逻辑分区（LPAR）的配置包括：
运行SMT4的16个内核（专用模式） 96 GB记忆体 1个40GbE端口 Spectrum Scale文件系统（SASWORK，SASDATA和SASUTIL）的16 MB块大小图3和图4显示了20个测试的单节点测试的网络I / O吞吐量和处理器利用率。 以下是主要结果：
实时时间为1073分钟，用户+系统时间为793分钟（应用的PURR系数为0.6）。 平均和峰值I / O吞吐量分别为2.75 GBps和4 GBps。 考虑到16个内核，I / O吞吐量约为每个内核175 MBps。 在分配给LPAR的16个内核中，处理器利用率为60％。可扩展性测试：20次测试混合分析工作负载
可伸缩性测试是通过线性地缩放工作负载和节点来执行的-将20个测试的工作负载从一个节点（具有20个并发测试）扩展到四个节点（具有80个并发测试，每个节点包括20个并发测试）。 后端存储和计算与扩展工作负载相同。 一节点，二节点，三节点和四节点测试分别总共运行了20、40、60和80个混合分析工作负载测试。 还使用了30个测试混合分析工作负载（从一个节点到4个节点）进行了类似的可伸缩性测试。
用于可伸缩性测试的LPAR的配置包括：
两个LPAR的16个内核（专用模式），另外两个LPAR的15个内核（专用模式） SMT4 每个LPAR 96 GB内存 每个LPAR 1个40GbE端口 Spectrum Scale文件系统（SASWORK，SASDATA和SASUTIL）的16 MB块大小图5中总结了具有20个测试工作量的可伸缩性测试的结果。图6至图10中的图形提供了在测试过程中实现的I / O吞吐量。
本节介绍Mellanox光纤网，其在环境中的配置以及测试结果。
Power IO产品组合中的IBM可以通过使用功能代码EC3A / EC3B适配器和Switch 8831-NF2（通过电缆EB40-EB42和EB4A-连接）在40GbE上为基于ESS的存储解决方案构建完整的端到端Mellanox结构。 EB4G。 这样做可提供强大的低延迟（约330ns端口到端口）基于以太网的TCP / IP存储结构。
此存储部署的有趣之处在于，Mellanox交换机可以在仅Mellanox 56GbE模式下运行光纤网络。 通过将交换机上每个端口的线速度条目更改为56000，您可以从现有网络硬件中获得40％的额外带宽，而无需任何进一步的投资。 所使用的电缆必须能够以56GbE的速度运行。 使用的适配器可以自动与交换机协商速度。
在实验室环境中，将网络交换机，主机和客户端的端口调整为以56GbE的速度运行，并重复测试以查看性能提高。
在Mellanox光纤网以56GbE速度运行的情况下，执行了以下测试以衡量与40GbE速度相比的性能优势。
使用gpfsperf工具进行I / O测试 30次测试工作负载–单节点以及四个节点的可伸缩性测试使用gpfsperf工具在四个节点上的I / O测试结果
作为Spectrum Scale部署的一部分，可以使用几种现成的性能工具（例如gpfsperf和nsdperf）来帮助验证系统性能。 请参阅本文“ 其他阅读 ”部分中引用的Spectrum Scale文档，以查找有关这些工具的信息。 gpfsperf工具可用于测量Spectrum Scale（GPFS）文件系统上的读取，写入和读取/写入I / O性能。 当网络端口以40GbE和56GbE速度运行时，该工具用于测量I / O吞吐量。 该工具在所有四个节点上同时运行，以强调网络和ESS存储。 图11显示了端口在40GbE和56GbE速度下的I / O吞吐量的比较。
使用gpfsperf工具进行的测试表明，无需任何其他基础结构或不升级现有的网络基础结构，总体读/写I / O吞吐量（70:30）可提高8％至10％。 测试期间已达到ESS GL4存储I / O吞吐量限制。
示例gpfsperf顺序写入命令：
/usr/lpp/mmfs/samples/perf/gpfsperf create seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 -n 3072M &示例gpfsperf顺序读取命令：
/usr/lpp/mmfs/samples/perf/gpfsperf read seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 &示例gpfsperf顺序读/写命令：
/usr/lpp/mmfs/samples/perf/gpfsperf mixrw seq /gpfs/sasdata_1m/data/n1aa -r 1m -th $1 -n 3072M -readratio 70 &使用56GbE架构的SAS工作负载测试结果
经过20项测试的混合分析工作负载不受网络I / O的限制； 因此，与40GbE结果相比，进行20个测试（在单个节点或多个节点上）的性能没有任何改善。 但是，与以40GbE速度运行的端口相比，将网络端口调整为以56GbE速度运行时，经过30次测试运行显示出更高的性能。
端口以56GbE速度运行时，在单个节点上进行30个测试的工作负载的实时性降低了5％。 当以56GbE速度运行的端口同时在所有四个节点上运行30个测试负载（总共120个测试）时，实时减少8％。 四节点测试在56GbE速度下实现了16 GBps的峰值I / O吞吐量，而在40GbE速度下达到了14 GBps。 该测试在56GbE速度下的平均I / O吞吐量为12.15 GBps，而在40GbE速度下为11 GBps。图12和图13显示了在40GbE和56GbE速度下进行30次测试的工作负载的I / O吞吐量。
本节提供有关如何调整环境各个方面的指导和建议。
开关调整
修改了五个开关调整参数：
流量控制 Interface ethernet 1/n flowcontrol receive on force Interface ethernet 1/n flowcontrol send on force 接口速度 Interface ethernet 1/n speed 56000, where n= port 1-36 接口MTU大小 Interface ethernet 1/n mtu 9000, where n= port 1-36 LAG配置调整（如果需要） Interface port-channel y flowcontrol receive on force, where y = 1 – max number of LAG groups Interface port-channel y flowcontrol send on force, where y = 1 – max number of LAG groups LAG负载平衡 port-channel load-balance ethernet source-destination-ip source-destination-mac source-destination-port为了实现冗余，客户端节点（LPAR）具有双端口适配器。 由于适配器插入的PCI Gen3.0 x8总线的限制，适配器的最大总带宽限制为56GbE。 当需要增加带宽和冗余时，建议在56GbE上运行交换机端口以增加带宽。 并在模式1（活动/备用）中配置适配器以提供冗余。
注意：实验室环境具有36端口40GbE / 56GbE交换机。 它具有来自客户端节点（LPARS）的四个链接和来自ESS存储的七个链接，总共有11个端口在使用中。 客户可能不希望将完全切换仅提交给11个端口。 Mellanox通过IBM业务合作伙伴提供了一个选项，一个具有12个端口的端口数量较少的交换机MSX-1012B-2BFS，它使用相同的MLNX-OS和ASIC，并且具有与IBM 8831-NF2相同的功能。
AIX客户端网络调整参数
以下操作系统网络可调参数已从AIX缺省值更改。 您可以在“ 附录：调整参数 ”部分中找到lsattr命令输出和no -a命令输出以及Spectrum Scale可调参数的完整列表。
对AIX SAS客户端适配器接口en3所做的更改与默认适配器设置
# en3 mtu 9000 Maximum IP Packet Size for This Device True rfc1323 1 Enable/Disable TCP RFC 1323 Window Scaling True tcp_nodelay 1 Enable/Disable TCP_NODELAY Option True tcp_recvspace 1048576 Set Socket Buffer Space for Receiving True tcp_sendspace 1048576 Set Socket Buffer Space for Sending True thread on Enable/Disable thread attribute True默认情况下对AIX SAS客户端适配器设备ent3所做的更改
# ent3 jumbo_frames yes Request jumbo frames True jumbo_size 9014 Requested jumbo frame size True large_receive yes Request Rx TCP segment aggregation True large_send yes Request Tx TCP segment offload True tx_comp_cnt 2048 Tx completions before hardware notification TrueAIX网络环境/ adapter参数的比较将默认值更改为“ no -L -F”
常规网络参数
------------------------------------------------------------------------------------------------- NAME CUR DEF BOOT MIN MAX UNIT TYPE DEPENDENCIES ------------------------------------------------------------------------------------------------- fasttimo 100 200 100 50 200 millisecond D ------------------------------------------------------------------------------------------------- sb_max 32M 1M 32M 4K 8E-1 byte D ------------------------------------------------------------------------------------------------- ##Restricted tunables poolbuckets 7 1 1 1 20 numeric D -------------------------------------------------------------------------------------------------TCP网络可调参数
-------------------------------------------------------------------------------- NAME CUR DEF BOOT MIN MAX UNIT TYPE DEPENDENCIES -------------------------------------------------------------------------------- hstcp 1 0 1 0 1 boolean D -------------------------------------------------------------------------------- rfc1323 1 0 1 0 1 boolean C -------------------------------------------------------------------------------- sack 1 0 1 0 1 boolean C -------------------------------------------------------------------------------- tcp_mssdflt 8960 1460 8960 1 64K-1 byte C -------------------------------------------------------------------------------- tcp_recvspace 856K 16K 856K 4K 8E-1 byte C sb_max -------------------------------------------------------------------------------- tcp_sendspace 856K 16K 856K 4K 8E-1 byte C sb_max --------------------------------------------------------------------------------UDP网络可调参数
NAME CUR DEF BOOT MIN MAX UNIT TYPE DEPENDENCIES -------------------------------------------------------------------------------- udp_recvspace 768K 42080 768K 4K 8E-1 byte C sb_max -------------------------------------------------------------------------------- udp_sendspace 256K 9K 256K 4K 8E-1 byte C sb_max -------------------------------------------------------------------------------- n/a means parameter not supported by the current platform or kernel Parameter types: S = Static: cannot be changed D = Dynamic: can be freely changed B = Bosboot: can only be changed using bosboot and reboot R = Reboot: can only be changed during reboot C = Connect: changes are only effective for future socket connections M = Mount: changes are only effective for future mountings I = Incremental: can only be incremented Value conventions: K = Kilo: 2^10 G = Giga: 2^30 P = Peta: 2^50 M = Mega: 2^20 T = Tera: 2^40 E = Exa: 2^60注：在将已连接的交换机端口更改为速度56000之后，通过重新启动LPAR来实现自动配置的端口速度更改。
ESS Linux I / O服务器适配器绑定更改
经过大量测试后，ESS网络适配器的bond0参数从LACP更改为ALB 。
# vi /etc/sysconfig/network-scripts/ifcfg-bond-bond0 BONDING_OPTS=”miimon=100 mode=balance-alb xmit_hash_policy=layer3+4” MTU=9000ESS Linux I / O服务器网络调整参数
从Linux ESS I / O网络共享磁盘（NSD）服务器的默认值更改了以下操作系统网络可调参数。
ppc64_cpu --smt=2 ethtool -G enP4p1s0 rx 8192 tx 8192 ethtool -G enP9p1s0 rx 8192 tx 8192 ethtool -G enp1s0 rx 8192 tx 8192 mlnx_tune -r -c ethtool -K enP9p1s0d1 tx-nocache-copy off ethtool -K enP4p1s0d1 tx-nocache-copy off ethtool -K enp1s0d1 tx-nocache-copy off注意：作为ESS安装过程的一部分，已经预先设置/调整了ESS节点网络可调项。
以下Spectrum Scale集群可调参数已更改为默认值，并用于混合的AIX / Linux GPFS集群。 从Spectrum Scale 4.2.0.3开始，一个句点“”。 第一列中的表示该参数已由workerThreads参数更改。 有时称为自动调整功能，其中更改一个参数workerThreads也会导致其他可调参数自动更改为默认值。
已更改（按性能Pagepool, workerThreads, prefetchPct, maxFilesToCache, maxblocksize, and maxMBpS列出）的Spectrum Scale可调参数是Pagepool, workerThreads, prefetchPct, maxFilesToCache, maxblocksize, and maxMBpS 。 这些可调参数为SAS Mixed Analytics工作负载提供了最显着的性能提升。 通常，对于SAS工作负载而言，最重要的Spectrum Scale可调参数是Pagepool 。 从初始环境测试来看，与其他Spectrum Scale可调参数相比，客户端节点上Pagepool的增加提供了最大的性能改进。 通过在其他环境中进行后续相关的ESS GL4测试，我们预测，如果将客户机节点上的Pagepool从32 GB增加到64 GB，性能将比本文报告的数字提高5％到10％。
因此，以下突出显示的参数被认为是首先要关注的更重要的可调更改。 请注意，对于ESS，在ESS安装过程中会更改许多默认配置值。 ESS已高度优化，并且在我们的测试中几乎不需要调整。 例如，默认情况下，ESS节点Pagepool的最大大小为72 GB。 有关Spectrum Scale配置可调参数的完整列表，请参见附录：调整参数 。
运行AIX的客户机节点：
maxblocksize 16777216 maxFilesToCache 50000 maxMBpS 24000 Pagepool 34359738368 prefetchPct 40 workerThreads 1024ESS / Linux节点：
maxblocksize 16777216 maxFilesToCache 50000 maxMBpS 24000 prefetchPct 40 seqDiscardThreshhold 1073741824 workerThreads 1024注意： ESS安装过程已经使用Spectrum Scale性能脚本设置了许多非默认参数。
IBM和Mellanox通过JBOD近线磁盘存储解决方案实现了有效且相对便宜的以太网，该解决方案可应对SAS工作负载，其性能可与更昂贵的中层光纤通道连接闪存存储相媲美。 用作SAS客户端的基于IBM POWER8处理器的服务器上的AIX使其成为成功实现POC的强大工作引擎。 仅限Mellanox的以太网高速存储网络对于促进ESS的完整I / O吞吐量以及提供运行40GbE光纤网络的能力至关重要，而无需切换交换机到56GbE的解决方案配置和40GbE适配器的自动配置通过使用IBM产品组合中可用的56GbE电缆实现以56GbE运行
从SAS混合分析工作负载概念证明中收集的性能指标表明，该解决方案通过SAS应用程序充分发挥了IBM Elastic Storage Server，Mellanox网络和Power E880的潜力。 跨学科团队在团队服务器，网络，存储和应用程序专业知识的结合下，以交互方式进行工作以优化和优化系统的所有部分，从而获得了出色的性能。 除了行业领先的硬件和软件之外，这也是该POC成功的关键。
IBM和SAS白皮书
用于SAS Foundation混合工作负载的新软件定义的融合基础架构 SAS弹性存储服务器（ESS）战斗卡 使用IBM XIV和IBM FlashSystem在基于IBM POWER8处理器的系统上进行SAS业务分析部署 使用IBM XIV存储系统和IBM GPFS的IBM Power服务器上的SAS 9.3网格部署IBM电源系统
IBM Power Systems知识中心 IBM AIX SAS AIX 5L，AIX 6和AIX 7调整指南 了解电源系统上的处理器利用率– AIXIBM存储解决方案
IBM Elastic Storage Server简介指南联网
IBM 8831-NF2 – Mellanox SX1710 IBM FC EC3A以下操作系统网络可调参数用于AIX SAS客户端。 lsattr AIX命令可用于显示特定设备的属性特征和属性的可能值。 例如：
lsattr -El ent3
注意 ：由于启用了rfc1323，特定于接口的可调参数优先于未设置的参数。
[root@brazos06]> # lsattr -El ent3 alt_addr 0x000000000000 Alternate Ethernet address True bar0 0x88100000 Bus memory address 0 False bar1 0x80000000 Bus memory address 1 False bar2 0x88000000 Bus memory address 2 False chksum_offload yes Request checksum offload True delay_open no Delay open until link state is known True devid 0xb31503101410b504 Device ID False eeh_cfgsp_delay 999 EEH config space delay (miliseconds) False eeh_reset_delay 5 EEH reset delay (seconds) False flow_ctrl yes Request flow control True flow_ctrl_rx yes Receive pause frames True flow_ctrl_tx yes Transmit pause frames True intr_cnt 10 Interrupt event coalesce counter True intr_priority 3 Interrupt priority False intr_time 5 Interrupt event coalesce timer (microseconds) True ipv6_offload yes Request IPV6 stateless offloads True jumbo_frames yes Request jumbo frames True jumbo_size 9014 Requested jumbo frame size True large_receive yes Request Rx TCP segment aggregation True large_send yes Request Tx TCP segment offload True link_delay_mode logging Link status delay mode True link_delay_time 5 Link status delay timer (seconds) True lro_threshold 2 Rx TCP segment aggregation minimum pkt threshold True media_speed 40000_Full_Duplex Requested Media speed False queue_pairs 8 Requested number of queue pairs True queues_rdma 1 Requested number of RDMA event queues True rdma desired Request RDMA True rom_mem 0x0 ROM memory address False rsp_comp_cnt 128 RSP Completions Before Hardware Notification True rsp_limit 1000 Response queue entries processed per interrupt True rsp_max_events 512 Max RSP events that can be received True rx_buffer_low 90 Rx queue buffer replenish threshold True rx_chain 16 Rx packets chained for stack processing True rx_comp_limit 128 Response queue entries processed per interrupt True rx_max_pkts 2048 Rx queue maximum packet count True rx_notify_cnt 128 Rx packets per Rx complete notification True rx_send_cnt 8 Rx Immediate Data mode True systrc_enable no Enable config debug tracing True timer_eeh 1 EEH event poll timer (seconds) True timer_error 1 Error poll timer (seconds) True timer_link 1 Link poll timer (seconds) True timer_stats 0 Statistics poll timer (seconds) True tx_comp_cnt 2048 Tx completions before hardware notification True tx_comp_limit 1 Tx completions processed per event False tx_free_delay no Delay free of Tx packet mbufs True tx_limit 1024 Tx packets sent per transmit thread True tx_max_pkts 1024 Tx queue maximum packet count True tx_notify_cnt 64 Tx packets per Tx complete notification True tx_swq_max_pkts 8192 Software Tx queue maximum packet count True use_alt_addr no Request alternate Ethernet address True vpd_missing no VPD is not present True您可以使用no AIX命令来管理网络的调整参数。 例如：
无-a输出
arpqsize = 1024 arpt_killc = 20 arptab_bsiz = 7 arptab_nb = 149 bcastping = 0 bsd_loglevel = 3 clean_partial_conns = 0 delayack = 0 delayackports = {} dgd_flush_cached_route = 0 dgd_packets_lost = 3 dgd_ping_time = 5 dgd_retry_time = 5 directed_broadcast = 0 fasttimo = 100 hstcp = 1 icmp6_errmsg_rate = 10 icmpaddressmask = 0 ie5_old_multicast_mapping = 0 ifsize = 256 igmpv2_deliver = 0 init_high_wat = 0 ip6_defttl = 64 ip6_prune = 1 ip6forwarding = 0 ip6srcrouteforward = 1 ip_ifdelete_notify = 0 ip_nfrag = 200 ipforwarding = 0 ipfragttl = 2 ipignoreredirects = 0 ipqmaxlen = 100 ipsendredirects = 1 ipsrcrouteforward = 1 ipsrcrouterecv = 0 ipsrcroutesend = 1 limited_ss = 0 llsleep_timeout = 3 lo_perf = 1 lowthresh = 90 main_if6 = 0 main_site6 = 0 maxnip6q = 20 maxttl = 255 medthresh = 95 mpr_policy = 1 multi_homed = 1 nbc_limit = 12582912 nbc_max_cache = 131072 nbc_min_cache = 1 nbc_ofile_hashsz = 12841 nbc_pseg = 0 nbc_pseg_limit = 25165824 ndd_event_name = {all} ndd_event_tracing = 0 ndogthreads = 0 ndp_mmaxtries = 3 ndp_umaxtries = 3 ndpqsize = 50 ndpt_down = 3 ndpt_keep = 120 ndpt_probe = 5 ndpt_reachable = 30 ndpt_retrans = 1 net_buf_size = {all} net_buf_type = {all} net_malloc_frag_mask = {0} netm_page_promote = 1 nonlocsrcroute = 0 nstrpush = 8 passive_dgd = 0 pmtu_default_age = 10 pmtu_expire = 10 pmtu_rediscover_interval = 30 psebufcalls = 20 psecache = 1 psetimers = 20 rfc1122addrchk = 0 rfc1323 = 1 rfc2414 = 1 route_expire = 1 routerevalidate = 0 rtentry_lock_complex = 1 rto_high = 64 rto_length = 13 rto_limit = 7 rto_low = 1 sack = 1 sb_max = 33554432 send_file_duration = 300 site6_index = 0 sockthresh = 85 sodebug = 0 sodebug_env = 0 somaxconn = 1024 strctlsz = 1024 strmsgsz = 0 strthresh = 85 strturncnt = 15 subnetsarelocal = 1 tcp_bad_port_limit = 0 tcp_cwnd_modified = 0 tcp_ecn = 0 tcp_ephemeral_high = 65535 tcp_ephemeral_low = 32768 tcp_fastlo = 0 tcp_fastlo_crosswpar = 0 tcp_finwait2 = 1200 tcp_icmpsecure = 0 tcp_init_window = 0 tcp_inpcb_hashtab_siz = 24499 tcp_keepcnt = 8 tcp_keepidle = 14400 tcp_keepinit = 150 tcp_keepintvl = 150 tcp_limited_transmit = 1 tcp_low_rto = 0 tcp_maxburst = 0 tcp_mssdflt = 8960 tcp_nagle_limit = 65535 tcp_nagleoverride = 0 tcp_ndebug = 100 tcp_newreno = 1 tcp_nodelayack = 1 tcp_pmtu_discover = 1 tcp_recvspace = 876544 tcp_sendspace = 876544 tcp_tcpsecure = 0 tcp_timewait = 1 tcp_ttl = 60 tcprexmtthresh = 3 tcptr_enable = 0 thewall = 50331648 timer_wheel_tick = 0 tn_filter = 1 udp_bad_port_limit = 0 udp_ephemeral_high = 65535 udp_ephemeral_low = 32768 udp_inpcb_hashtab_siz = 24499 udp_pmtu_discover = 1 udp_recv_perf = 0 udp_recvspace = 786432 udp_sendspace = 262144 udp_ttl = 30 udpcksum = 1 use_sndbufpool = 1列出了以下用于混合AIX / Linux GPFS集群的Spectrum Scale集群可调项作为参考。 某些可调参数已更改为默认值，如“！”所示。 在以下参数之前标记。 最新版本的Spectrum Scale具有自动调整功能，更改workerThreads也会导致其他可调参数自动更改为默认值。 高亮显示的参数（以粗体显示）被认为是首先要关注的更重要的可调更改。 请注意，对于ESS，在ESS安装过程中会更改许多默认配置值。 ESS经过高度优化，几乎不需要调整。
AIX节点
! ccrEnabled 0 ! cipherList AUTHONLY ! deadlockDataCollectionDailyLimit 10 ! deadlockDetectionThreshold 0 ! dmapiFileHandleSize 32 ! expelDataCollectionDailyLimit 10 ! logBufferCount 20 ! logWrapThreads 128 ! maxblocksize 16777216 ! maxBufferDescs 32768 ! maxFilesToCache 50000 ! maxMBpS 24000 ! maxReceiverThreads 128 ! maxStatCache 10000 ! minReleaseLevel 1502 ! pagepool 34359738368 ! prefetchPct 40 ! scatterBuffers 0 ! seqDiscardThreshhold 1073741824 ! socketMaxListenConnections 512 ! worker1Threads 1024 ! workerThreads 1024ESS / Linux模式
注意 ：ESS安装过程已经设置了许多这些非默认参数。
! ccrEnabled 0 ! cipherList AUTHONLY ! deadlockDataCollectionDailyLimit 10 ! deadlockDetectionThreshold 0 ! dmapiFileHandleSize 32 ! envVar MLX4_USE_MUTEX 1 MLX5_SHUT_UP_BF 1 MLX5_USE_MUTEX 1 ! expelDataCollectionDailyLimit 10 ! flushedDataTarget 1024 ! flushedInodeTarget 1024 ! ioHistorySize 65536 ! logBufferCount 20 ! logWrapAmountPct 10 ! logWrapThreads 128 ! maxAllocRegionsPerNode 32 ! maxBackgroundDeletionThreads 16 ! maxblocksize 16777216 ! maxBufferCleaners 1024 ! maxBufferDescs 2097152 ! maxFileCleaners 1024 ! maxFilesToCache 50000 ! maxGeneralThreads 1280 ! maxInodeDeallocPrefetch 128 ! maxMBpS 24000 ! maxReceiverThreads 128 ! maxStatCache 10000 ! minReleaseLevel 1502 ! myNodeConfigNumber 1 ! nsdClientCksumTypeLocal NsdCksum_Ck64 ! nsdClientCksumTypeRemote NsdCksum_Ck64 ! nsdInlineWriteMax 32768 ! nsdMaxWorkerThreads 3072 ! nsdMinWorkerThreads 3072 ! nsdMultiQueue 512 ! nsdRAIDBlockDeviceMaxSectorsKB 8192 ! nsdRAIDBlockDeviceNrRequests 32 ! nsdRAIDBlockDeviceQueueDepth 16 ! nsdRAIDBlockDeviceScheduler deadline ! nsdRAIDBufferPoolSizePct (% of PagePool) 80 ! nsdRAIDEventLogToConsole all ! nsdRAIDFastWriteFSDataLimit 262144 ! nsdRAIDFastWriteFSMetadataLimit 1048576 ! nsdRAIDFlusherBuffersLimitPct 80 ! nsdRAIDBlockDeviceQueueDepth 16 ! nsdRAIDBlockDeviceScheduler deadline ! nsdRAIDBufferPoolSizePct (% of PagePool) 80 ! nsdRAIDEventLogToConsole all ! nsdRAIDFastWriteFSDataLimit 262144 ! nsdRAIDFastWriteFSMetadataLimit 1048576 ! nsdRAIDFlusherBuffersLimitPct 80 ! nsdRAIDFlusherBuffersLowWatermarkPct 20 ! nsdRAIDFlusherFWLogHighWatermarkMB 1000 ! nsdRAIDFlusherFWLogLimitMB 5000 ! nsdRAIDFlusherThreadsHighWatermark 512 ! nsdRAIDFlusherThreadsLowWatermark 1 ! nsdRAIDFlusherTracksLimitPct 80 ! nsdRAIDFlusherTracksLowWatermarkPct 20 ! nsdRAIDMaxTransientStale2FT 1 ! nsdRAIDMaxTransientStale3FT 1 ! nsdRAIDReconstructAggressiveness 1 ! nsdRAIDSmallBufferSize 262144 ! nsdRAIDSmallThreadRatio 2 ! nsdRAIDThreadsPerQueue 16 ! nsdRAIDTracks 131072 ! nspdQueues 64 ! numaMemoryInterleave yes ! pagepool 76168560640 ! prefetchPct 40 ! prefetchThreads 341 ! scatterBuffers 0 ! scatterBufferSize 262144 ! seqDiscardThreshhold 1073741824 ! socketMaxListenConnections 512 ! syncWorkerThreads 256 ! worker1Threads 1024 ! worker3Threads 32 ! workerThreads 1024翻译自: https://www.ibm.com/developerworks/aix/library/l-infrastructure-for-sas/index.html
