Das 10GBit-Zeitalter hat begonnen – Teil 1/3

Nach langem hin und her, Kupfer oder Fiber… ist es endlich soweit: Die Entscheidung für Kupfer ist gefallen. Also schnell mal zwei Netzwerkkarten gekauft:

Ein Blick in den VMware Compatibility Guide bestätigt, dass die gewünschte Karte bzw. deren Chips unterstützt werden.

Qlogic/Broadcom NetXtreme II 57810 Dual 2xRJ45

Ein paar Überlegungen vorab:

Da ich aktuell noch keinen 10GBit-Switch habe, wird es eine direkte Kupfer-Verbindung zwischen zwei Hosts geben
Host 1: Meine Linux-Workstation
Host 2: Mein VMware-Server
In Teil 1/3 richte ich die 10GBit-Verbindung ein, in Teil 2/3 dann Link-Aggregation
In Teil 3/3 versuche ich mich dann an Windows 10

Dann legen wir mal los…

Einrichtung und Einbau in meine Linux-Workstation sind denkbar einfach – Karte einbauen, der Broadcom-Chipsatz wird direkt unterstützt:

dneubert@ryzen:~$ lspci |grep Broad
05:00.0 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme II BCM57810 10 Gigabit Ethernet (rev 10)
05:00.1 Ethernet controller: Broadcom Inc. and subsidiaries NetXtreme II BCM57810 10 Gigabit Ethernet (rev 10)
dneubert@ryzen:~$

dneubert@ryzen:~$ find /sys | grep drivers.*05:00* --color=never
/sys/bus/pci/drivers/bnx2x/0000:05:00.1
/sys/bus/pci/drivers/bnx2x/0000:05:00.0
dneubert@ryzen:~$

… also nur schnell die IPv4-Konfiguration erstellen und die MTU auf 9000 setzen – fertig:

root@ryzen:~# ifconfig enp5s0f0
enp5s0f0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 9000
        inet 10.10.0.3  netmask 255.255.255.0  broadcast 10.10.0.255
        ether 00:0e:1e:86:48:e0  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B) 
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
        device interrupt 39  memory 0xe4000000-e47fffff

Damit die Kommunikation mit meinem virtualisierten NAS über die neue Verbindung läuft, hinterlege ich die zukünftige IP des NAS in der /etc/hosts. Das ist aktuell die einfachste Variante. Später lasse ich meiner Workstation diese IP via DHCP mitteilen – dafür wäre aber noch einiges an zusätzlicher Konfiguration erforderlich.

dneubert@ryzen:~$ grep nas /etc/hosts
10.10.0.2	nas
dneubert@ryzen:~$

Auf der VMware-Seite ist die Konfiguration ebenfalls denkbar einfach. Die Netzwerkkarte wird erkannt, der Link ist mit 10GBit / Vollduplex aktiv:

Es ist ein neuer vSwitch erforderlich – auch hier eine MTU von 9000 einrichten und das neue Interface als Uplink auswählen:

Um die Anbindung nutzen zu können wird noch eine entsprechende Portgruppe für die VMs angelegt:

Um auf das neue 10GBit-Netz zugreifen zu können, richte ich eine weitere Netzwerkkarte für die VM “nas” ein. Die sieht im OS dann natürlich unspektakulär aus:

[root@nas ~]# lspci | grep Ether
03:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
04:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01)
[root@nas ~]#

Auch hier schnell eine entsprechende Konfiguration erstellt…

[root@nas ~]# cat /etc/sysconfig/network-scripts/ifcfg-LAN-10GBit 
DEVICE=eth1
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=no
IPV4_FAILURE_FATAL=no
IPV6INIT=no
NAME=LAN-10GBit
ONBOOT=yes
MTU=9000
IPADDR=10.10.0.2
PREFIX=24
[root@nas ~]#

… und schon steht die Verbindung:

[root@nas ~]# ifconfig eth1
eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 9000
        inet 10.10.0.2  netmask 255.255.255.0  broadcast 10.10.0.255
        ether 00:50:56:bc:c4:e0  txqueuelen 1000  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6  bytes 252 (252.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

[root@nas ~]#

Pingtest erfolgreich:

dneubert@ryzen:~$ ping nas -s 8972 -M do -c 1
PING nas (10.10.0.2) 8972(9000) bytes of data.
8980 bytes from nas (10.10.0.2): icmp_seq=1 ttl=64 time=0.249 ms

--- nas ping statistics ---
1 packets transmitted, 1 received, 0% packet loss, time 0ms
rtt min/avg/max/mdev = 0.249/0.249/0.249/0.000 ms
dneubert@ryzen:~$

Nachdem ich meine NFS-Exports in der /etc/exports um die neue IP-Adresse meiner Linux-Worksation ergänzt habe kann es an den ersten Speed-Test gehen:

dneubert@ryzen:/tmp$ pv /mnt/nas/ISO-Images/Oracle/Oracle\ Enterprise\ Linux\ 8.4.iso > oel_84.iso
9,25GiB 0:00:17 [ 529MiB/s] [================================================================================================================>] 100%            
dneubert@ryzen:/tmp$

Das sieht doch schon mal recht brauchbar aus – Quelle für die Daten ist hier das SATA-RAID 5.

Mehr Geschwindigkeit bekommen wir dann vielleicht in Teil 2/2 mit Daten von einer der NVME-SSDs 😉

Schreibe einen Kommentar Antworten abbrechen