Ceph oder ZFS? Das Speicherkonzept für einen Proxmox-Cluster
Die Speicherfrage prägt einen Proxmox-Cluster stärker als jede andere Entscheidung. Dieser Beitrag vergleicht Ceph und ZFS-Replikation nüchtern – mit den Zahlen, die in der Planung zählen, und der Frage, wie viel Datenverlust im Störfall vertretbar ist.
Das Wichtigste in Kürze
- Ceph verteilt die Daten auf mindestens drei Knoten und verliert beim Ausfall eines Servers nichts – verlangt dafür aber schnelles Netzwerk und reichlich Kapazität.
- ZFS mit Replikation ist einfacher und günstiger, arbeitet aber zeitversetzt: Beim Ausfall fehlen die Änderungen seit dem letzten Abgleich.
- Die Entscheidung hängt an einer Frage, die das Unternehmen beantworten muss, nicht die IT: Wie viele Minuten Datenverlust sind im Störfall vertretbar?
Wer einen Proxmox-Cluster plant, landet früher oder später bei der Speicherfrage. Sie wird gern als technisches Detail behandelt, ist aber die Entscheidung mit den größten Folgen: Sie bestimmt, wie viele Server gekauft werden, welche Netzwerkkarten hineingehören, wie viel nutzbarer Speicher am Ende übrig bleibt – und was bei einem Ausfall passiert.
Ob Proxmox VE überhaupt die richtige Plattform ist, steht in Proxmox VE oder VMware?. Hier geht es um die nächste Stufe: Proxmox ist gesetzt, und es gilt, zwischen den beiden gängigen Wegen für Hochverfügbarkeit ohne zentrales Speichersystem zu wählen.
Zwei grundverschiedene Ansätze
Ceph ist ein verteilter Speicher. Jeder Knoten steuert seine Datenträger bei, und Ceph legt jeden Datenblock mehrfach auf verschiedenen Knoten ab. Für die virtuellen Maschinen sieht das wie ein gemeinsamer Speicher aus. Fällt ein Server aus, liegen alle Daten noch auf den anderen – ohne Verzug, ohne Lücke.
ZFS mit Replikation funktioniert anders. Jede virtuelle Maschine liegt auf den lokalen Datenträgern ihres Knotens. In einem festen Takt werden die Änderungen auf einen zweiten Knoten übertragen. Fällt der erste aus, startet die Maschine auf dem zweiten – mit dem Stand der letzten Übertragung.
| Merkmal | Ceph | ZFS mit Replikation |
|---|---|---|
| Mindestanzahl Knoten | Drei | Zwei, plus eine unabhängige dritte Stimme für die Mehrheitsentscheidung |
| Datenverlust bei Knotenausfall | Keiner | Die Änderungen seit dem letzten Abgleich |
| Nutzbare Kapazität | Rund ein Drittel der Rohkapazität bei dreifacher Ablage | Rund die Hälfte bei einem Replikationsziel |
| Netzwerk | Eigenes schnelles Speichernetz zwingend | Normales Netz genügt meist |
| Betriebsaufwand | Höher, eigenes Fachgebiet | Überschaubar |
Was Ceph wirklich verlangt
Ceph ist in Proxmox VE integriert und kostet keine Lizenz. Das macht es attraktiv – und verleitet dazu, die Voraussetzungen zu unterschätzen. Drei Punkte entscheiden über Erfolg oder Frust:
- Das Netzwerk. Ceph schreibt jeden Block über das Netz auf andere Knoten. Proxmox selbst bezeichnet 10 Gbit/s als absolute Untergrenze, die bereits zum Engpass wird; bei schnellen NVMe-Datenträgern ist deutlich mehr sinnvoll. Dazu gehört ein eigenes, getrenntes Netz nur für den Speicherverkehr. Wer hier spart, bekommt einen Cluster, der zwar ausfallsicher, aber langsam ist.
-
Die Kapazität. In der üblichen Einstellung liegt jeder Block dreimal vor
(
size=3), und geschrieben wird, solange mindestens zwei Kopien erreichbar sind (min_size=2). Aus drei Servern mit je 10 TB werden damit rund 10 TB nutzbarer Speicher – nicht 30. - Der Füllstand. Ceph warnt standardmäßig bei 85 % Belegung und stellt bei 95 % das Schreiben ein. Weil nach einem Knotenausfall die Daten auf die verbleibenden Knoten umverteilt werden, muss dort Platz dafür sein. Realistisch plant man einen Füllstand deutlich unter der Warnschwelle ein.
Mit genau drei Knoten und dreifacher Ablage gibt es nach einem Ausfall keinen Ort mehr, an dem die dritte Kopie neu entstehen kann. Der Cluster läuft weiter, aber ohne Reserve, bis der Knoten zurück ist. Das ist vertretbar – man sollte es nur vorher wissen und Ersatzteile entsprechend vorhalten.
Was ZFS-Replikation leistet – und was nicht
Die Speicherreplikation in Proxmox VE setzt ZFS voraus. Der Abgleich läuft in einem einstellbaren Takt: standardmäßig alle 15 Minuten, minimal jede Minute. Übertragen werden nur die Änderungen seit dem letzten Lauf, deshalb ist auch ein kurzer Takt meist gut machbar.
Entscheidend ist das Wort zeitversetzt. Startet die Hochverfügbarkeit eine Maschine auf dem zweiten Knoten neu, dann mit dem Datenträger, wie er beim letzten erfolgreichen Abgleich aussah. Bei einem Takt von fünf Minuten fehlen im ungünstigsten Fall fünf Minuten – plus die Zeit, falls der letzte Lauf nicht geklappt hat.
Für einen Dateiserver oder einen Druckdienst ist das in aller Regel unerheblich. Für eine Warenwirtschaft, in der gerade Aufträge erfasst werden, ist es eine Frage, die mit der Geschäftsführung geklärt sein sollte, bevor sie im Ernstfall auftaucht.
Ein Zweiknotenbetrieb ist mit ZFS möglich, braucht aber eine dritte, unabhängige Stimme, damit bei einer Netzstörung nicht beide Knoten glauben, allein übrig zu sein. Proxmox löst das mit einem kleinen externen Dienst (QDevice), der auf einem beliebigen dritten Gerät laufen kann. Er stellt nur die Stimme, keine Rechenleistung.
Die Frage, an der die Entscheidung hängt
Aus den technischen Unterschieden lässt sich eine einfache Faustregel ableiten:
- Ist ein Datenverlust von einigen Minuten im seltenen Störfall vertretbar? Dann ist ZFS-Replikation fast immer die wirtschaftlichere Wahl. Weniger Knoten, kein Speichernetz, weniger Kapazität, die man nur für Kopien kauft.
- Darf auch beim Ausfall eines Servers nichts verloren gehen? Dann führt kaum ein Weg an Ceph – oder an einem zentralen Speichersystem – vorbei. Die Mehrkosten sind der Preis für diese Zusage.
- Gemischt geht auch. Die wenigen wirklich kritischen Systeme auf Ceph, der Rest mit ZFS-Replikation – das ist in größeren Umgebungen oft die ausgewogenste Lösung.
Aufwand und Betrieb
ZFS ist im Betrieb vergleichsweise genügsam. Man überwacht die Replikationsaufträge und den Zustand der Datenträger, und das ist es im Wesentlichen. Ceph ist ein eigenes Fachgebiet: Es will überwacht, bei Datenträgertausch richtig behandelt und bei Aktualisierungen mit Bedacht angefasst werden. Das ist kein Grund, darauf zu verzichten – aber ein Grund, vorher zu klären, wer das übernimmt.
Bei der Hardware gilt für beide Wege: Datenträger für den Dauerbetrieb im Server, keine Desktop-Modelle, und bei ZFS ausreichend Arbeitsspeicher, weil das Dateisystem ihn als Zwischenspeicher nutzt.
Was keines von beiden ersetzt
- Die Datensicherung. Ceph und Replikation schützen gegen den Ausfall eines Servers. Gegen versehentliches Löschen, Verschlüsselung durch Schadsoftware oder einen Brand im Serverraum schützen sie nicht – eine Löschung wird zuverlässig auf alle Kopien übertragen. Die Sicherung bleibt Pflicht, und ihr Wiederherstellungstest ebenso.
- Einen zweiten Standort. Beide Verfahren sind für Knoten im selben Raum oder am selben Standort gedacht. Eine Verteilung über Standorte hinweg ist ein eigenes Thema mit eigenen Anforderungen an die Verbindung.
- Die Planung der Migration. Wer von einer bestehenden Umgebung kommt, findet den Ablauf in VMware-Exit: Wie eine Migration tatsächlich abläuft.
Fazit
Ceph ist die richtige Wahl, wenn beim Ausfall eines Servers nichts verloren gehen darf und das Budget für drei ordentlich ausgestattete Knoten samt Speichernetz vorhanden ist. ZFS mit Replikation ist die richtige Wahl für die meisten mittelständischen Umgebungen, in denen einige Minuten Datenverlust im seltenen Störfall vertretbar sind. Die Entscheidung gehört auf den Tisch der Geschäftsführung – als Frage nach dem vertretbaren Verlust, nicht als Frage nach der Technik.
Wir planen und betreiben beide Varianten, siehe Server & Virtualisierung. Wenn ein Umstieg ansteht, gehört die Speicherfrage in die Migrationsplanung von Anfang an.
