Superviser et maintenir un NAS : scrub, SMART, alertes et Zabbix

Superviser un NAS, c'est vérifier en permanence que ses disques sont sains, que ses pools sont redondants, qu'il reste de la place et que ses tâches de protection (snapshots, réplication, scrubs) réussissent, pour intervenir avant la perte de données. Ce chapitre explique les vérifications que fait ZFS lui-même, la surveillance SMART des disques, les alertes de TrueNAS, le remplacement d'un disque en panne, puis l'intégration de srv-nas à la supervision Zabbix de Sorbier et le choix des indicateurs. La supervision en général (SNMP, Zabbix, Grafana) est traitée dans le cours Supervision.

Scrub, resilver et test SMART

Trois opérations de maintenance se ressemblent et se confondent souvent.

Le scrub est la seule façon de découvrir la corruption silencieuse des données qu'on ne lit jamais : une archive de 2019 abîmée par un secteur défaillant ne serait détectée qu'au jour où quelqu'un l'ouvre, peut-être après la mort d'un second disque. Le scrub la trouve et la répare tant que la redondance existe. Data Protection > Scrub Tasks liste les tâches : pour chaque pool, le seuil en jours (Threshold Days) empêche un nouveau scrub tant que le précédent date de moins de ce nombre de jours, et la planification dit quand vérifier. Un multiple de sept garde le scrub sur le même jour de la semaine.

La surveillance SMART des disques

SMART (Self-Monitoring, Analysis and Reporting Technology) est le système d'autodiagnostic des disques : chaque disque tient des compteurs sur sa santé. TrueNAS surveille SMART sur tous les disques et lève une alerte quand un disque échoue à un test ou franchit un seuil. Pour lire les compteurs d'un disque (System > Shell) :

smartctl -A /dev/sda

ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  5 Reallocated_Sector_Ct   0x0033   100   100   005    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   097   097   000    Old_age   Always       -       21874
194 Temperature_Celsius     0x0002   185   185   000    Old_age   Always       -       35 (Min/Max 22/41)
197 Current_Pending_Sector  0x0022   100   100   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0008   100   100   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x000a   200   200   000    Old_age   Always       -       0

Lis surtout la dernière colonne, la valeur brute (RAW_VALUE) :

Les noms et le sens exact des attributs varient un peu d'un fabricant à l'autre, et les SSD ont leurs propres indicateurs d'usure (pourcentage d'endurance consommée). La version 25.10 de TrueNAS a retiré de l'interface la planification des tests SMART : les tests programmés avant la mise à jour continuent de s'exécuter, et sur une nouvelle installation on programme un test long mensuel par une tâche Cron Job (System > Advanced Settings), qui lance par exemple smartctl -t long /dev/sda pour chaque disque de données.

Les alertes de TrueNAS

La cloche en haut à droite de l'interface affiche les alertes en cours : pool dégradé, disque en échec, espace presque plein, tâche de réplication ou de snapshots en échec, certificat qui expire, mise à jour disponible. Une alerte que personne ne lit ne sert à rien : il faut la faire sortir du NAS.

1. System > General Settings, widget Email : le serveur SMTP de Sorbier, l'adresse d'expédition, puis l'adresse de destination du compte d'administration.
2. System > Alert Settings : les Alert Services (courriel, interruption SNMP, messageries d'équipe, outils d'astreinte) et, pour chaque catégorie d'alerte, le niveau de gravité qui déclenche l'envoi.
3. Envoie une alerte de test pour vérifier que le courriel arrive, puis documente qui la reçoit et sous quel délai il doit réagir.

Remplacer un disque en panne

Mercredi, l'alerte tombe : le disque n° 3 de tank est en panne. Le pool continue de fonctionner, mais sans plus qu'une parité de marge.

  pool: tank
 state: DEGRADED
status: One or more devices are faulted in response to persistent errors.
	Sufficient replicas exist for the pool to continue functioning in a
	degraded state.
action: Replace the faulted device, or use 'zpool clear' to mark the device
	repaired.
config:

	NAME                                      STATE     READ WRITE CKSUM
	tank                                      DEGRADED     0     0     0
	  raidz2-0                                DEGRADED     0     0     0
	    6f1c2a7e-3b4d-4e8f-9a0b-1c2d3e4f5a61  ONLINE       0     0     0
	    0b9e4d21-77c3-4a5e-8f10-2e3d4c5b6a72  ONLINE       0     0     0
	    c4d5e6f7-1a2b-4c3d-9e8f-3a4b5c6d7e83  FAULTED     38     0     0  too many errors
	    5e6f7a8b-2c3d-4e5f-8a9b-4c5d6e7f8a94  ONLINE       0     0     0
	    a1b2c3d4-3e4f-4a5b-9c8d-5e6f7a8b9ca5  ONLINE       0     0     0
	    d7e8f9a0-4f5a-4b6c-8d9e-6f7a8b9cadb6  ONLINE       0     0     0

errors: No known data errors

1. Identifier le disque. Storage, widget du pool, Manage Devices : déplier le vdev, sélectionner le disque en échec et relever son numéro de série. Compare-le avec l'étiquette du tiroir avant d'en retirer un : retirer le mauvais disque d'un RAIDZ2 déjà dégradé laisse le pool sans aucune redondance.
2. Mettre le disque hors ligne : bouton Offline dans le détail du disque (s'il n'est pas déjà retiré par ZFS).
3. Échanger physiquement le disque. Les baies du serveur sont échangeables à chaud : on retire le tiroir, on visse le disque de rechange, on le remet.
4. Remplacer : dans le détail de l'ancien disque, bouton Replace, choisir le nouveau disque dans la liste, valider. ZFS lance le resilver.
5. Suivre la reconstruction dans le widget du pool ou par zpool status tank (pourcentage effectué, temps restant estimé). Le pool redevient ONLINE à la fin.
6. Renvoyer l'ancien disque sous garantie, après effacement si possible, et racheter un disque de rechange.

Superviser srv-nas depuis Zabbix

TrueNAS est un système fermé : on n'y installe pas l'agent Zabbix. On l'interroge en SNMP, dans sa version 3 qui authentifie et chiffre les échanges.

Sur TrueNAS : System > Services, ligne SNMP, bouton de modification.

Coche Start Automatically et démarre le service. srv-journaux (192.168.10.180), qui porte Zabbix, est dans le même VLAN 20 que srv-nas : la requête ne traverse pas pfSense, et aucune règle de pare-feu ne la filtre. C'est SNMPv3 en authPriv (compte, authentification SHA, chiffrement AES) qui protège l'accès. Si le serveur Zabbix était dans un autre VLAN, il faudrait en plus une règle pfSense UDP 161 de ce serveur vers 192.168.10.183. Teste depuis srv-journaux :

snmpget -v3 -l authPriv -u zabbix -a SHA -A 'phrase-auth' -x AES -X 'phrase-priv' \
  192.168.10.183 SNMPv2-MIB::sysName.0

SNMPv2-MIB::sysName.0 = STRING: srv-nas

Dans Zabbix 7.0 LTS : Data collection > Hosts > Create host, nom srv-nas, groupe Stockage, une interface SNMP sur 192.168.10.183, port 161, version SNMPv3, niveau authPriv, avec les mêmes identifiants. Comme modèles :

• Linux by SNMP, livré avec Zabbix : processeur, mémoire, interfaces réseau, systèmes de fichiers ;
• pour l'état des pools et des disques, pas de modèle officiel : le modèle TrueNAS CORE by SNMP de Zabbix vise l'ancienne édition CORE et ne s'applique pas à la Community Edition. On s'appuie sur les alertes de TrueNAS (courriel, interruptions SNMP), ou on construit et teste ses propres éléments sur la maquette. Le cours Supervision détaille la méthode.

Grafana, branché sur Zabbix par son greffon, affiche ensuite un tableau de bord du stockage : occupation des pools dans le temps, débit, ARC, températures. TrueNAS peut aussi exporter lui-même ses métriques vers un serveur Graphite (écran Reporting, bouton Exporters).

Les indicateurs et leurs seuils

Exercices