1. First | 序

书接上回

Marvell FastLinQ QL45611HLCU 100GbE Adapter | 上机和初始化记录

1. First | 序 体验过了一些隶属于 Marvell® FastLinQ 45000 Series 的 HPE OEM 产品 HPE Eth 4x25Gb 1p 620QSFP28 Adptr | 上机和初始化记录1.First | 序 HPE Eth 4x25Gb 1p 620QSFP28 Adptr == QL45214HLCU-HP HPE 对其的概述为 * 620-QSFP28 1-port Ethernet adapter - 4 lanes 25GB, quad small form factor (QSFP) * Part Number * 840134-001 是一款采用 Qlogic 45604 芯片拥有单

xzllll's blogxzllll

此篇主要测试 Marvell FastLinQ QL45611HLCU 100GbE Adapter 在 4x25GbE Port Mode

下的性能表现

受限于M720Q PCIE 通道物理限制(LnkSta: Speed 8GT/s, Width x8 (downgraded))

此文仅测试单 25G 场景

至于如何搭建设置 RDMA 环境就不赘述了

⤵️ 移步此篇

HPE Eth 4x25Gb 1p 620QSFP28 Adptr | RDMA(RoCE V2) 配置与测试

1.First | 序 书接上回 HPE Eth 4x25Gb 1p 620QSFP28 Adptr | 上机和初始化记录1x1.First | 序 HPE Eth 4x25Gb 1p 620QSFP28 Adptr == QL45214HLCU-HP HPE 对其的概述为 * 620-QSFP28 1-port Ethernet adapter - 4 lanes 25GB, quad small form factor (QSFP) * Part Number * 840134-001 是一款采用 Qlogic 45604 芯片拥有单 QSFP28 端口和四个 25GB 通道的 NIC 即支持使用 1p QSFP28

xzllll's blogxzllll

1.1.OS Version | 示例环境

1. OS | 系统

   

2. SW | 软件

   • rdma-core

     

   • infiniband-diags

     

   • libibverbs-utils

     

   • ibdev2netdev

     

   • perftest

     

   • iperf

     

3. NIC | 网络适配器

   1. Huawei SP333 STL2IEA2A 2-Port NIC

      • QL45611HLCU 一分四线缆 1&2 口对接此网卡

   2. HPE Ethernet 10/25Gb 2-port 621SFP28

      • QL45611HLCU 一分四线缆 3&4 口对接此网卡

4. Cable | 线缆

   • Hisense 100G AOC QSFP28 850nm 10m DEF8503-4C10-R0

   PN

   • AB-QT0685ACS20B

     

2. Test | 测试

首先介绍测试背景

使用以下两个软件进行测试

1. Perftest
2. iperf3

2.1. Perftest

测试命令如下所示

1. ib_send_bw
2. ib_write_bw
3. ibv_rc_pingpong

2.1.1. ib_send_bw

1. A

   ib_send_bw -d mlx5_0 -F -x 3 10.7.6.200
   

   

2. B

   ib_send_bw -d mlx5_0 -x 3 --run_infinitely --report_gbits -F 10.7.5.200
   

   

2.1.2. ib_write_bw

1. A

   ib_write_bw -d mlx5_0 -x 3 -F 10.7.5.200 --report_gbits
   

   

2. B

   ib_write_bw -d mlx5_0 -x 3 -F 10.7.5.200 --report_gbits --run_infinitely
   

   

2.1.3. ibv_rc_pingpong

1. A

   ibv_rc_pingpong -d mlx5_0 -g 3 10.7.5.200
   

   

2.2. iperf3

1. 单线程

   iperf3 -c 10.7.6.200 -B 10.7.6.100
   

   

2. 双线程

   iperf3 -c 10.7.6.200 -B 10.7.6.100 -P 2
   

   

3. 单线程(反向)

   iperf3 -c 10.7.6.200 -B 10.7.6.100 -R
   

   

4. 双线程(反向)

   iperf3 -c 10.7.6.200 -B 10.7.6.100 -P 2 -R