Réseau virtuel Proxmox : bridge Linux, VLAN et SDN

Le réseau virtuel relie les cartes réseau des machines virtuelles entre elles et au réseau physique : sous Proxmox VE, c'est un pont Linux (bridge), un commutateur logiciel à l'intérieur de l'hôte, sur lequel chaque VM branche sa carte virtuelle, avec ou sans étiquette VLAN. Ce chapitre part des modes réseau d'un hyperviseur de poste, explique le pont vmbr0, configure un pont sensible aux VLAN avec l'agrégation de liens comme chez Sorbier, et présente le SDN de Proxmox.

Les modes réseau d'un hyperviseur de poste

Sur ton PC, VirtualBox te demande de choisir le mode d'accès réseau de chaque carte de VM. Ces modes existent, sous d'autres noms, dans tous les hyperviseurs : les comprendre aide à comprendre un serveur.

Un hyperviseur de serveur n'a pas besoin de tous ces modes : il fonctionne presque toujours en accès par pont, et c'est le découpage en VLAN qui isole les réseaux. Le mode « réseau interne » correspond à un pont sans carte physique ; le NAT, à une zone SDN avec traduction d'adresses (voir plus bas).

Le pont Linux, commutateur virtuel de l'hôte

Un pont (bridge) Linux se comporte comme un switch : il apprend les adresses MAC des machines qui y sont branchées et transmet les trames de port en port. Sur Proxmox VE, l'installateur crée un pont nommé vmbr0, relié à la carte physique choisie pendant l'installation, et lui donne l'adresse IP d'administration. Chaque VM y branche sa carte virtuelle, qui apparaît sur l'hôte comme une interface tap177i0 (VM 177, carte 0).

La configuration réseau de l'hôte est dans le fichier /etc/network/interfaces, au format ifupdown2. Juste après l'installation de pve1, il ressemble à ceci :

auto lo
iface lo inet loopback

iface eno1 inet manual

auto vmbr0
iface vmbr0 inet static
        address 192.168.10.213/28
        gateway 192.168.10.222
        bridge-ports eno1
        bridge-stp off
        bridge-fd 0

eno1 n'a pas d'adresse (inet manual) : c'est un simple port du pont. bridge-ports eno1 branche la carte physique sur le pont ; bridge-stp off désactive le Spanning Tree sur ce pont (le réseau physique s'en charge) ; bridge-fd 0 supprime le délai d'attente avant de transmettre.

On modifie ce fichier de deux façons :

• dans l'interface : sélectionne le nœud, System > Network, puis Create (Linux Bridge, Linux Bond, Linux VLAN) ou Edit. Les changements sont écrits dans /etc/network/interfaces.new ; ils ne s'appliquent qu'au clic sur Apply Configuration ;
• en ligne de commande : modifie le fichier, puis applique sans redémarrer avec ifreload -a.

Le pont sensible aux VLAN

Chez Sorbier, les VM appartiennent à plusieurs VLAN : les serveurs au VLAN 20, le serveur web au VLAN 60 (DMZ), un serveur de tests au VLAN 10. Créer un pont par VLAN fonctionne, mais devient vite ingérable. La bonne méthode est un pont sensible aux VLAN (VLAN aware) : un seul pont, relié au switch par un trunk 802.1Q, et un numéro de VLAN indiqué sur chaque carte de VM.

Le pont étiquette les trames de chaque VM avec le numéro de VLAN de sa carte avant de les envoyer sur le trunk, et ne lui remet que les trames de son VLAN. Pour la VM, rien ne change : elle ne voit pas d'étiquette, comme un poste branché sur un port d'accès. Seule exception chez Sorbier : la VM pfSense, qui route entre les VLAN, reçoit le trunk entier et crée elle-même ses interfaces VLAN (installer pfSense sur Proxmox VE et interfaces et VLAN sur pfSense).

Le plan réseau des hôtes de Sorbier

Chaque hôte de Sorbier a trois cartes 10 Gbit/s :

Les VLAN et leurs réseaux sont ceux du cours Routage et commutation, auxquels Sorbier ajoute le VLAN 21 des applications internes et de la recette, et le VLAN 80 de stockage :

Configurer le pont, l'agrégat et l'administration

Voici le fichier /etc/network/interfaces complet de pve1 :

auto lo
iface lo inet loopback

iface eno1 inet manual
iface eno2 inet manual

# Stockage : NFS vers TrueNAS, sauvegardes vers PBS (VLAN 80, non routé)
auto eno3
iface eno3 inet static
        address 192.168.10.242/28

# Agrégat LACP vers SW-COEUR
auto bond0
iface bond0 inet manual
        bond-slaves eno1 eno2
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer2+3

# Pont des VM, sensible aux VLAN
auto vmbr0
iface vmbr0 inet manual
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 10 20 30 40 50 60 99

# Administration de l'hôte dans le VLAN 99
auto vmbr0.99
iface vmbr0.99 inet static
        address 192.168.10.213/28
        gateway 192.168.10.222

Ce qu'il faut comprendre, ligne par ligne :

• bond0 agrège eno1 et eno2 en mode 802.3ad, c'est-à-dire LACP : le switch et l'hôte négocient l'agrégat, le trafic se répartit sur les deux liens, et la panne d'un câble ne coupe rien. bond-miimon 100 vérifie l'état des liens toutes les 100 ms ; layer2+3 répartit les flux selon les adresses MAC et IP. Le fonctionnement de LACP est dans le cours Routage et commutation ;
• vmbr0 n'a plus d'adresse : c'est un pur commutateur. bridge-vlan-aware yes active les VLAN ; bridge-vids limite les VLAN autorisés sur le pont à ceux qui existent chez Sorbier ;
• vmbr0.99 est une interface du pont dans le VLAN 99 : c'est elle qui porte l'adresse d'administration de l'hôte. Dans l'interface web, elle se crée avec Create > Linux VLAN, nom vmbr0.99.

Applique avec ifreload -a, puis vérifie :

ip -br address                 # vmbr0.99 et eno3 ont leurs adresses
cat /proc/net/bonding/bond0    # mode 802.3ad, les deux liens « up », même partenaire LACP
bridge vlan show               # les VLAN autorisés sur bond0 et sur chaque tap de VM

La carte réseau d'une VM

Dans l'onglet Hardware d'une VM, la carte réseau (Network Device) a quatre réglages importants :

En ligne de commande, la même carte s'écrit virtio,bridge=vmbr0,tag=20,firewall=1 :

qm set 179 --net0 virtio,bridge=vmbr0,tag=20,firewall=1

Le côté du switch

Le trunk doit transporter exactement les VLAN déclarés dans bridge-vids. Sur le switch de cœur, les hôtes sont branchés sur les ports à 10 Gbit/s du module d'extension (Te1/1/x, voir le cours Routage et commutation). Pour pve1 (ports Te1/1/3 et Te1/1/4 en LACP, port Te1/1/5 pour le stockage) :

SW-COEUR(config)# vlan 80
SW-COEUR(config-vlan)# name STOCKAGE
SW-COEUR(config-vlan)# exit
SW-COEUR(config)# interface range TenGigabitEthernet1/1/3 - 4
SW-COEUR(config-if-range)# description pve1 bond0
SW-COEUR(config-if-range)# channel-group 11 mode active
SW-COEUR(config-if-range)# exit
SW-COEUR(config)# interface Port-channel11
SW-COEUR(config-if)# description pve1 trunk des VM
SW-COEUR(config-if)# switchport mode trunk
SW-COEUR(config-if)# switchport trunk native vlan 999
SW-COEUR(config-if)# switchport trunk allowed vlan 10,20,21,30,40,50,60,99
SW-COEUR(config-if)# switchport nonegotiate
SW-COEUR(config-if)# spanning-tree portfast edge trunk
SW-COEUR(config-if)# exit
SW-COEUR(config)# interface TenGigabitEthernet1/1/5
SW-COEUR(config-if)# description pve1 stockage
SW-COEUR(config-if)# switchport mode access
SW-COEUR(config-if)# switchport access vlan 80
SW-COEUR(config-if)# spanning-tree portfast edge

Le VLAN 80 n'a pas de SVI sur le switch : il n'est pas routé. Le VLAN 60 (DMZ) traverse le switch en niveau 2 seulement, sans SVI non plus, pour que le pare-feu reste la seule passerelle de la DMZ : une VM de la DMZ ne peut joindre le reste du réseau qu'à travers lui. Les commandes de trunk, de VLAN natif et d'EtherChannel sont expliquées dans le cours Routage et commutation.

Le SDN de Proxmox : zones et VNets

Quand le cluster grandit, déclarer les mêmes ponts et les mêmes tags sur chaque nœud devient fastidieux. Le SDN (Software-Defined Networking) de Proxmox VE, installé par défaut, décrit le réseau une fois pour tout le cluster, dans Datacenter > SDN :

Les types de zones :

Une fois la zone et les VNets créés, clique sur Apply dans Datacenter > SDN : Proxmox écrit la configuration sur tous les nœuds. Les VM choisissent alors le VNet serveurs au lieu de vmbr0 avec le tag 20. Deux avantages : impossible de se tromper de numéro de VLAN, et on peut déléguer un VNet à un groupe (rôle PVESDNUser) : un stagiaire ne pourra brancher ses VM que sur le VNet de test. Depuis la version 9.0, le SDN gère aussi des fabrics (OpenFabric, OSPF) pour relier les nœuds entre eux, par exemple pour un réseau Ceph maillé.

Exercices

auto lo
iface lo inet loopback

iface eno1 inet manual
iface eno2 inet manual

auto eno3
iface eno3 inet static
        address 192.168.10.243/28

auto bond0
iface bond0 inet manual
        bond-slaves eno1 eno2
        bond-miimon 100
        bond-mode 802.3ad
        bond-xmit-hash-policy layer2+3

auto vmbr0
iface vmbr0 inet manual
        bridge-ports bond0
        bridge-stp off
        bridge-fd 0
        bridge-vlan-aware yes
        bridge-vids 10 20 30 40 50 60 99

auto vmbr0.99
iface vmbr0.99 inet static
        address 192.168.10.214/28
        gateway 192.168.10.222