Le stockage dans Proxmox : local, LVM-thin, ZFS, NFS et iSCSI

Dans Proxmox VE, un stockage est un emplacement déclaré au niveau du centre de données où l'hyperviseur range les disques des VM, les images ISO, les modèles de conteneurs ou les sauvegardes : un dossier local, un pool LVM ou ZFS, un partage NFS, un volume iSCSI. Le choix du stockage décide de ce que tu pourras faire ensuite : snapshots, migration à chaud, haute disponibilité. Ce chapitre explique les formats de disques virtuels, les stockages locaux, puis le stockage partagé sur un NAS TrueNAS, et donne une méthode pour choisir.

Ce qu'est un disque virtuel

Le disque d'une VM est, côté hôte, un fichier ou un volume :

Deux façons d'allouer l'espace coexistent :

• l'allocation fixe (thick provisioning) réserve tout l'espace à la création : un disque de 100 Go occupe 100 Go, même vide ;
• l'allocation dynamique (thin provisioning) n'occupe que ce qui est écrit : le même disque, avec 12 Go de données, occupe 12 Go.

L'allocation dynamique permet de surallouer : promettre aux VM plus d'espace que le stockage n'en a réellement, en pariant qu'elles ne se rempliront pas toutes. C'est pratique et courant, mais dangereux : si le stockage se remplit vraiment, les VM qui écrivent se figent ou corrompent leurs données. Un stockage suralloué se surveille (chapitre 12).

Les types de contenu

Un stockage déclare ce qu'il accepte. Les types de contenu de Proxmox VE :

Les types de stockage

Proxmox VE gère une quinzaine de types de stockage. Ceux que tu croiseras :

Les stockages créés à l'installation

Après une installation en ext4 sur un disque, l'hôte a deux stockages :

• local : le dossier /var/lib/vz, pour les ISO, les modèles de conteneurs et les sauvegardes ;
• local-lvm : le pool LVM-thin data du groupe de volumes pve, pour les disques des VM et des conteneurs.

Après une installation en ZFS, local-lvm est remplacé par local-zfs, le jeu de données rpool/data. Tous les stockages sont décrits dans un seul fichier, /etc/pve/storage.cfg, commun à tout le cluster :

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

lvmthin: local-lvm
        thinpool data
        vgname pve
        content rootdir,images

Pour voir l'état de tous les stockages, leur taille et leur remplissage :

pvesm status

Sur LVM-thin, regarde aussi le remplissage du pool et de ses métadonnées : lvs affiche les colonnes Data% et Meta% du volume data. Si l'une approche 100 %, les VM vont souffrir.

ZFS : le stockage local avec intégrité et snapshots

ZFS est à la fois un gestionnaire de volumes et un système de fichiers. Il assemble des disques en pool, organisé en groupes redondants (vdev) : un miroir (deux disques ou plus, comme un RAID 1), un RAIDZ-1 (une parité, comme un RAID 5), un RAIDZ-2 (deux parités, comme un RAID 6). Ce qu'il apporte en plus d'un RAID classique :

• une somme de contrôle sur chaque bloc : ZFS détecte une donnée corrompue et la répare depuis la copie saine du miroir. Une vérification complète, le scrub, est planifiée chaque mois par Proxmox ;
• la compression à la volée (lz4 par défaut sur Proxmox), qui fait souvent gagner de la place et du temps ;
• des snapshots instantanés, et la réplication d'une VM vers un autre nœud par envoi des seuls blocs modifiés (chapitre 10).

ZFS a un coût : il utilise la mémoire comme cache de lecture, l'ARC. Sur une installation récente, Proxmox limite l'ARC à 10 % de la mémoire de l'hôte, au plus 16 Gio ; la règle de dimensionnement de l'éditeur est d'environ 1 Go de mémoire par To de stockage ZFS.

Pour créer un pool sur des disques vides : sélectionne le nœud, Disks > ZFS > Create: ZFS, donne un nom, choisis le niveau de RAID (Mirror, RAIDZ…), coche les disques, laisse cochée l'option Add Storage. Puis vérifie en ligne de commande :

zpool status        # état du pool et de chaque disque, erreurs, dernier scrub
zpool list          # taille, espace occupé, fragmentation
zfs list            # jeux de données et volumes (un zvol par disque de VM)

Le stockage partagé sur un NAS TrueNAS

Pour que les VM puissent passer d'un hôte à l'autre sans copier leurs disques, et redémarrer ailleurs si leur hôte tombe, leurs disques doivent être sur un stockage partagé, vu par tous les nœuds. Chez Sorbier, c'est un NAS TrueNAS Community Edition (version 25.10, la gamme autrefois appelée TrueNAS SCALE), nommé truenas, branché sur un réseau réservé au stockage : le VLAN 80, 192.168.10.240/28, non routé. TrueNAS a l'adresse 192.168.10.241 ; les trois hôtes .242, .243 et .244. La configuration de TrueNAS lui-même (pools, jeux de données, partages, instantanés) relève du cours Stockage et NAS avec TrueNAS, qui prépare le partage NFS pour Proxmox VE et la cible iSCSI ; on regarde ici le côté Proxmox.

Deux protocoles sont possibles :

Déclarer le partage NFS. Côté TrueNAS, le jeu de données tank/proxmox est partagé en NFS, avec l'accès limité au réseau 192.168.10.240/28 et l'option Maproot User réglée sur root (Proxmox écrit les fichiers des VM en tant que root : c'est l'équivalent de l'option no_root_squash d'un serveur NFS Linux). Côté Proxmox, dans Datacenter > Storage > Add > NFS :

La même opération en ligne de commande :

pvesm add nfs truenas-nfs --server 192.168.10.241 --export /mnt/tank/proxmox \
  --content images,iso,rootdir
pvesm status

Proxmox monte le partage sur chaque nœud dans /mnt/pve/truenas-nfs.

Déclarer un volume iSCSI. Côté TrueNAS, un zvol est présenté par une cible iSCSI. Côté Proxmox :

1. Datacenter > Storage > Add > iSCSI : ID truenas-iscsi, Portal 192.168.10.241, Target choisie dans la liste. Décoche Use LUNs directly : on ne met pas les VM directement sur le LUN.
2. Datacenter > Storage > Add > LVM : ID truenas-lvm, Base storage truenas-iscsi, Base volume le LUN, Volume group vg_truenas, coche Shared : tous les nœuds verront le même groupe de volumes, et Proxmox se charge qu'un seul nœud utilise un volume à la fois.

Ceph, le stockage distribué

Ceph répartit les données sur les disques de tous les nœuds du cluster, avec trois copies de chaque bloc par défaut : il n'y a plus de NAS central, chaque nœud est à la fois serveur de calcul et de stockage. C'est l'hyperconvergence. Proxmox VE installe et administre Ceph depuis son interface (Node > Ceph). Il faut au moins trois nœuds, plusieurs disques par nœud, un réseau dédié rapide (10 Gbit/s au minimum, 25 Gbit/s recommandés) et de la mémoire. Pour une PME de la taille de Sorbier, un NAS bien protégé et des sauvegardes solides suffisent souvent ; Ceph se justifie quand la disponibilité du stockage doit être aussi élevée que celle des hôtes.

Choisir et déplacer un stockage

Un disque se déplace d'un stockage à l'autre sans arrêter la VM : sélectionne la VM, Hardware, le disque, puis Disk Action > Move Storage. En ligne de commande : qm disk move 179 scsi0 truenas-nfs. C'est ainsi qu'on vide un stockage avant une maintenance.

Exercices

dir: local
        path /var/lib/vz
        content iso,vztmpl,backup

zfspool: local-zfs
        pool rpool/data
        sparse
        content images,rootdir

nfs: truenas-nfs
        export /mnt/tank/proxmox
        path /mnt/pve/truenas-nfs
        server 192.168.10.241
        content images,iso,rootdir