Zum Inhalt

Runbook Storage

Runbook: Storage

Diagnose und Behebung von Speicherproblemen: Host-Disk, PVCs und MinIO.

Host-Disk voll

Symptom: Pods schlagen fehl, Schreibfehler in Logs, df -h zeigt >95% Auslastung.

Diagnose:

df -h
du -sh /var/lib/rancher/k3s/storage/* | sort -rh | head -10

Lösung:

  1. Container-Image-Cache bereinigen: 
    sudo k3s crictl rmi --prune
  2. Alte K3s-Logs bereinigen: 
    sudo journalctl --vacuum-size=500M
  3. Temporäre Dateien entfernen: 
    sudo rm -rf /tmp/platform.*
  4. Langfristig: Disk über den VM-Provider erweitern.

Verifikation:

df -h

→ Auslastung unter 80%.

PVC voll

Symptom: Service loggt no space left on device.

Diagnose:

kubectl get pvc -n inovetra-platform

# Nutzung innerhalb des Pods prüfen
kubectl exec deployment/<name> -n inovetra-platform -- df -h

Lösung:

  • Daten bereinigen (z.B. alte Backups, nicht benötigte Dokumente in MinIO)
  • PVC erweitern (nur bei StorageClass mit allowVolumeExpansion — local-path unterstützt das nicht)
  • Workaround bei local-path:
  • Backup erstellen
  • PVC löschen und mit größerem Volumen neu erstellen
  • Daten aus Backup wiederherstellen

Datenverlust vermeiden

Vor PVC-Löschung immer sicherstellen, dass ein vollständiges Backup vorhanden ist! Siehe Backup und Restore.

Verifikation:

kubectl exec deployment/<name> -n inovetra-platform -- df -h

→ Ausreichend freier Speicherplatz.

MinIO nicht erreichbar

Symptom: Datei-Upload schlägt fehl, RAG-Dokument-Upload gibt Fehler zurück.

Diagnose:

kubectl get pods -n inovetra-platform | grep minio
kubectl logs deployment/inovetra-minio -n inovetra-platform

Lösung:

kubectl rollout restart deployment/inovetra-minio -n inovetra-platform

Verifikation:

kubectl get pods -n inovetra-platform | grep minio

→ Status Running.

Weiterführende Seiten