Haute disponibilité pfSense : CARP et pfsync

La haute disponibilité de pfSense repose sur deux pare-feu identiques qui fonctionnent en grappe : CARP leur fait partager des adresses IP virtuelles, portées par le pare-feu maître et reprises en quelques secondes par le secours s'il tombe ; pfsync recopie en continu la table d'états, pour que les connexions en cours survivent à la bascule ; la synchronisation XMLRPC recopie la configuration du maître vers le secours. Ce chapitre double le pare-feu de Sorbier : plan d'adressage, machines virtuelles sur deux hôtes Proxmox, configuration, tests et pièges.

Pourquoi doubler le pare-feu

Chez Sorbier, pf1 route tous les VLAN, publie le site de suivi, termine les VPN et résout les noms d'Internet pour l'annuaire. S'il s'arrête (panne de l'hôte Proxmox, mise à jour qui tourne mal), plus aucun VLAN ne joint les serveurs, plus personne ne navigue, l'entrepôt de Mâcon est coupé. C'est un point unique de défaillance. Les notions de disponibilité, de redondance et de bascule, et la comparaison de CARP avec HSRP et VRRP, sont dans le cours Haute disponibilité ; ce chapitre configure.

Chaque adresse virtuelle CARP a un identifiant, le VHID (de 1 à 255), et un mot de passe. Le pare-feu qui annonce le plus souvent (la plus petite valeur de décalage, skew) est maître.

Le plan d'adressage

Chaque réseau a désormais besoin de trois adresses : une pour pf1, une pour pf2, et l'adresse virtuelle partagée. On garde comme adresses virtuelles les passerelles actuelles : les postes, les serveurs et le DHCP n'ont rien à changer. Les adresses propres des pare-feu sont les deux qui précèdent la passerelle.

Les adresses .124/.125 (POSTES) et .156/.157 (ENTREPOT) sont prises dans les plages d'adresses fixes exclues des étendues DHCP du cours Windows Server : vérifie qu'aucune imprimante ni borne ne les occupe, et note-les dans la documentation des adresses fixes.

Le VHID reprend le numéro du VLAN : facile à retenir, et unique sur chaque segment. L'adresse publique 203.0.113.17, celle que connaissent Internet, les nomades et le pare-feu de Mâcon, devient l'adresse virtuelle. C'est pour cela que l'opérateur a fourni un bloc de six adresses (chapitre 1).

Les deux machines virtuelles

• pf2 est une copie de pf1 en matériel virtuel : mêmes cartes, dans le même ordre (net0 WAN sur vmbr1, net1 trunk sur vmbr0, net2 DMZ sur vmbr2), plus une quatrième carte net3 pour SYNC. Netgate est formel : les interfaces doivent être attribuées dans le même ordre sur les deux nœuds, sinon la synchronisation de configuration casse tout.
• pf2 tourne sur un autre hôte, pve2 : deux pare-feu sur le même hôte tomberaient ensemble. Dans Proxmox VE 9, une règle de haute disponibilité de type affinité entre ressources, en mode « séparer », empêche qu'ils se retrouvent sur le même nœud (cours Virtualisation).
• L'interface SYNC est un câble direct entre un port de pve1 et un port de pve2, chacun dans un pont dédié (vmbr3) : le trafic pfsync contient la table d'états de toute l'entreprise, il n'a rien à faire sur un réseau partagé.
• Même version de pfSense, mêmes paquets.

Configurer pas à pas

L'ordre compte : on prépare les deux pare-feu, on active la synchronisation, puis on crée les adresses virtuelles sur le maître seulement. Prévois une fenêtre de maintenance : les adresses de pf1 changent.

1. Les adresses des interfaces. Sur pf1, chaque interface passe de la passerelle à son adresse propre (POSTES : 192.168.10.124/26, WAN : 203.0.113.18/29…). Sur pf2, installé comme au chapitre 2, les adresses de la colonne pf2. Les deux reçoivent leur interface SYNC.

2. Les règles de l'interface SYNC, sur les deux : Pass, any, source SYNC subnets, destination any, description « Synchronisation HA ». L'interface est un câble direct entre les deux pare-feu : on y autorise tout, pfsync comme XMLRPC.

3. La synchronisation, System > High Availability :

4. Les adresses virtuelles, sur pf1 uniquement : Firewall > Virtual IPs > Add, Type CARP, Interface POSTES, Address 192.168.10.126/26 (le masque du réseau), Virtual IP Password (un secret long), VHID Group 10, Advertising frequency : Base 1, Skew 0, description « Passerelle POSTES ». Une adresse virtuelle par interface du tableau. La synchronisation les recopie sur pf2 avec un décalage plus grand, qui en fait le secours.

5. Le NAT sortant. Les postes doivent sortir avec l'adresse virtuelle, sinon leurs connexions sur Internet portent l'adresse propre de pf1 et meurent à la bascule. Firewall > NAT > Outbound, mode Hybrid Outbound NAT rule generation, une règle : Interface WAN, Source 192.168.10.0/24 (et une autre pour 10.8.0.0/23), Translation : l'adresse virtuelle 203.0.113.17.

6. Tout ce qui utilisait l'adresse du WAN doit viser l'adresse virtuelle :

Vérifier et tester

• Status > CARP (failover) : sur pf1, toutes les adresses virtuelles en MASTER ; sur pf2, en BACKUP. Une adresse MASTER des deux côtés signale que les annonces ne passent pas sur ce réseau (interface, VLAN ou règle).
• Diagnostics > States sur pf2 : la table d'états se remplit des connexions de pf1.
• Les règles et alias créés sur pf1 apparaissent sur pf2 quelques secondes plus tard.

Le test qui compte : depuis un poste, un ping -t 192.168.10.179 et un gros téléchargement depuis Internet. Arrête pf1 (ou, plus proprement, Status > CARP (failover) > Enter Persistent CARP Maintenance Mode : le maître cède ses adresses volontairement). Le ping perd une à trois réponses, le téléchargement marque une pause et continue, parce que pf2 connaît déjà la connexion grâce à pfsync. Sors du mode maintenance : pf1 redevient maître.

Exercices

Exercice 1 sur 3 Adresser une nouvelle interface en grappe Réussi À revoir

Le VLAN 70 CAMERAS (192.168.10.200/29, passerelle 192.168.10.206) du chapitre 3 doit être pris en charge par la grappe.

1. Combien d'adresses reste-t-il pour les caméras ? Est-ce suffisant pour quatre caméras ?
2. Donne les adresses de pf1, de pf2, l'adresse virtuelle et le VHID, selon la convention de Sorbier.
3. Sur quel pare-feu crées-tu le VLAN, l'interface et l'adresse virtuelle ?

Voir la réponseMasquer la réponse de l'exercice 1

1. Un /29 offre 6 adresses utilisables (.201 à .206). Trois sont prises par la grappe : il en reste 3 (.201 à .203), ce qui ne suffit pas pour quatre caméras. Il faut un /28 (14 adresses) ; il n'en reste aucun de libre dans 192.168.10.0/24 (le dernier, .240/28, porte le réseau de stockage), donc on sort du plan : par exemple 192.168.12.0/28, de .0 à .15.
2. Avec 192.168.12.0/28 : passerelle (adresse virtuelle) 192.168.12.14, pf1 en .12, pf2 en .13, VHID 70. (Avec le /29 d'origine : virtuelle .206, pf1 .204, pf2 .205.)
3. Le VLAN et l'interface se créent sur les deux pare-feu, dans le même ordre (les interfaces ne sont pas recopiées par la synchronisation), chacun avec son adresse propre. L'adresse virtuelle se crée sur pf1 seulement : XMLRPC la recopie sur pf2. Les règles de la nouvelle interface s'écrivent sur pf1.

Tu avais trouvé ?

Oui, j'avais bonPas encore

Exercice 2 sur 3 Les connexions qui meurent à la bascule Réussi À revoir

Lors du test, les postes gardent leur passerelle (le ping reprend), mais toutes les connexions vers Internet sont coupées et doivent être relancées. Sur pf2, la table d'états contient bien les connexions de pf1.

1. Quelle est la cause la plus probable ?
2. Où corriges-tu ?

Voir la réponseMasquer la réponse de l'exercice 2

1. Le NAT sortant traduit encore les connexions avec l'adresse propre de pf1 (203.0.113.18, WAN address), et non avec l'adresse virtuelle. Après la bascule, pf2 ne possède pas 203.0.113.18 : les réponses d'Internet, adressées à cette adresse, n'arrivent plus. Les états sont recopiés, mais ils décrivent une traduction que pf2 ne peut pas honorer.
2. Firewall > NAT > Outbound sur pf1 : mode Hybrid, règle(s) qui traduisent 192.168.10.0/24 (et les réseaux VPN) vers l'adresse virtuelle 203.0.113.17. La synchronisation recopie la règle sur pf2.

Tu avais trouvé ?

Oui, j'avais bonPas encore

Exercice 3 sur 3 Deux maîtres Réussi À revoir

Après la mise en place, Status > CARP (failover) montre l'adresse virtuelle de VISITEURS en MASTER sur pf1 et sur pf2. Les autres adresses sont correctes.

1. Quel est le danger ?
2. Que vérifies-tu ?

Voir la réponseMasquer la réponse de l'exercice 3

1. Deux équipements répondent pour 192.168.10.62 : conflit d'adresses, les tables ARP des invités changent sans cesse, connexions coupées au hasard. On parle de split brain sur ce réseau.
2. Les annonces CARP de pf1 n'arrivent pas à pf2 sur le VLAN 40 : vérifier que l'interface VISITEURS de pf2 est bien sur vtnet1.40 et active, que le VLAN 40 passe sur le trunk vers pve2, que les deux pare-feu utilisent le même VHID et le même mot de passe pour cette adresse (recopiés par XMLRPC si la synchronisation des adresses virtuelles est cochée), et qu'aucune isolation des clients ou filtrage de multidiffusion du switch ou des bornes ne bloque le protocole IP 112 entre les deux pare-feu.

Tu avais trouvé ?

Oui, j'avais bonPas encore