Dieses Tutorial zeigt, wie Sie einen Hochverfügbarkeitsspeicher mit zwei Speicherservern (Debian Wheezy) einrichten, die GlusterFS verwenden. Jeder Speicherserver ist ein Spiegel des anderen Speicherservers, und Dateien werden automatisch über beide Speicherserver repliziert. Das Client-System (auch Debian Wheezy) kann auf den Speicher zugreifen, als wäre es ein lokales Dateisystem. GlusterFS ist ein geclustertes Dateisystem, das auf mehrere Petabyte skaliert werden kann. Es aggregiert verschiedene Speicherbausteine über Infiniband-RDMA- oder TCP/IP-Verbindungen zu einem großen parallelen Netzwerkdateisystem. Storage Bricks können aus jeder handelsüblichen Hardware wie x86_64-Servern mit SATA-II-RAID und Infiniband-HBA hergestellt werden.
Ich gebe keine Garantie dafür, dass dies bei Ihnen funktioniert!
1 Vorbemerkung
In diesem Tutorial verwende ich drei Systeme, zwei Server und einen Client:
- server1.example.com:IP-Adresse 192.168.0.100 (Server)
- server2.example.com:IP-Adresse 192.168.0.101 (Server)
- client1.example.com:IP-Adresse 192.168.0.102 (Client)
Alle drei Systeme sollten in der Lage sein, die Hostnamen der anderen Systeme aufzulösen. Wenn dies nicht über DNS möglich ist, sollten Sie die Datei /etc/hosts so bearbeiten, dass sie auf allen drei Systemen wie folgt aussieht:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(Es ist auch möglich, IP-Adressen anstelle von Hostnamen im folgenden Setup zu verwenden. Wenn Sie lieber IP-Adressen verwenden, müssen Sie sich nicht darum kümmern, ob die Hostnamen aufgelöst werden können oder nicht.)
2 Einrichten der GlusterFS-Server
server1.beispiel.com/server2.beispiel.com:
GlusterFS ist als Paket für Debian Wheezy verfügbar, daher können wir es wie folgt installieren:
apt-get install glusterfs-server
Der Befehl
glusterfsd --version
sollte jetzt die gerade installierte GlusterFS-Version anzeigen (in diesem Fall 3.2.7):
[email protected]:~# glusterfsd --version
glusterfs 3.2.7 erstellt am 12. November 2012 19:30:08
Repository-Überarbeitung:git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2011 Gluster Inc.
GlusterFS wird mit ABSOLUT KEINER GARANTIE geliefert.
Sie dürfen Kopien von GlusterFS unter den Bedingungen der weitergeben GNU General Public License.
[email protected]:~#
Wenn Sie eine Firewall verwenden, stellen Sie sicher, dass die TCP-Ports 111, 24007, 24008, 24009 (24009 + Anzahl der Bricks auf allen Volumes) auf server1.example.com und server2.example.com geöffnet sind.
Als Nächstes müssen wir server2.example.com zum vertrauenswürdigen Speicherpool hinzufügen (bitte beachten Sie, dass ich alle GlusterFS-Konfigurationsbefehle von server1.example.com aus ausführe, Sie sie aber auch von server2.example.com ausführen können, da die Konfiguration zwischen den GlusterFS-Knoten repliziert - stellen Sie nur sicher, dass Sie die richtigen Hostnamen oder IP-Adressen verwenden):
server1.beispiel.com:
Führen Sie auf server1.example.com
ausgluster peer probe server2.example.com
[email protected]:~# gluster peer probe server2.example.com
Prüfung erfolgreich
[email protected]:~#
Der Status des vertrauenswürdigen Speicherpools sollte jetzt ungefähr so aussehen:
gluster peer status
[email protected]:~# Gluster-Peer-Status
Anzahl der Peers:1
Hostname:server2.example.com
Uuid:d19cb707-7b23-4d11-8e9c-183cd0a18d96
Status:Peer im Cluster (verbunden)
[email protected]:~#
Als nächstes erstellen wir die Freigabe mit dem Namen testvol mit zwei Replikaten (bitte beachten Sie, dass die Anzahl der Replikate in diesem Fall gleich der Anzahl der Server ist, da wir die Spiegelung einrichten möchten) auf server1.example.com und server2.example.com in der /data-Verzeichnis (dieses wird erstellt, wenn es nicht existiert):
gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
[email protected]:~# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
Die Erstellung des Volumes testvol war erfolgreich. Bitte starten Sie das Volume, um auf die Daten zuzugreifen.
[email protected]:~#
Lautstärke starten:
gluster volume start testvol
Es ist möglich, dass der obige Befehl Ihnen mitteilt, dass die Aktion nicht erfolgreich war:
[email protected]:~# gluster volume start testvol
Das Starten von volume testvol war nicht erfolgreich
[email protected]:~#
In diesem Fall sollten Sie die Ausgabe von...
überprüfenserver1.beispiel.com/server2.beispiel.com:
netstat -tap | grep glusterfsd
auf beiden Servern.
Wenn Sie eine solche Ausgabe erhalten...
[email protected]:~# netstat -tap | grep glusterfsd
tcp 0 0*:24009*:*Hören 1548 /glusterfsd
TCP 0 0 localhost.localdom:1019 localhost.localdo:24007 gegründet 1548 /glusterfsd
[E -Mail geschützt]:~ #
... alles ist in Ordnung, aber wenn Sie keine Ausgabe bekommen...
[E-Mail-geschützt]:~# netstat -tap | grep glusterfsd
[email protected]:~#
... den GlusterFS-Daemon auf dem entsprechenden Server (in diesem Fall server2.example.com) neu starten:
server2.beispiel.com:
/etc/init.d/glusterfs-server restart
Überprüfen Sie dann die Ausgabe von...
netstat -tap | grep glusterfsd
... wieder auf diesem Server - es sollte jetzt so aussehen:
[email protected]:~# netstat -tap | grep glusterfsd
tcp 0 0*:24010*:*Hören 1458 /glusterfsd
tcp 0 0 localhost.localdom:1021 localhost.localdo:24007 etabliert 1458 /glusterfsd
[E -Mail geschützt]:~ #
Nun zurück zu server1.example.com:
server1.beispiel.com:
Sie können den Status des Volumes mit dem Befehl
überprüfengluster volume info
[email protected]:~# gluster volume info
Volume-Name:testvol
Typ:Replizieren
Status:Gestartet
Anzahl der Bricks:2
Transporttyp:tcp
Bricks:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
[email protected]:~#
Standardmäßig können sich alle Clients mit dem Volume verbinden. Wenn Sie nur client1.example.com (=192.168.0.102) Zugriff gewähren möchten, führen Sie Folgendes aus:
gluster volume set testvol auth.allow 192.168.0.102
Bitte beachten Sie, dass für die IP-Adressen Wildcards verwendet werden können (z. B. 192.168.*) und mehrere IP-Adressen durch Komma getrennt angegeben werden können (z. B. 192.168.0.102,192.168.0.103).
Die Volume-Info sollte nun den aktualisierten Status anzeigen:
gluster volume info
[email protected]:~# gluster volume info
Volume-Name:testvol
Typ:Replizieren
Status:Gestartet
Anzahl der Bricks:2
Transporttyp:tcp
Bricks:
Brick1:server1. example.com:/data
Brick2:server2.example.com:/data
Optionen neu konfiguriert:
auth.allow:192.168.0.102
[email protected]:~#
3 Einrichten des GlusterFS-Clients
client1.beispiel.com:
Auf dem Client können wir den GlusterFS-Client wie folgt installieren:
apt-get install glusterfs-client
Dann erstellen wir folgendes Verzeichnis:
mkdir /mnt/glusterfs
Das ist es! Jetzt können wir das GlusterFS-Dateisystem mit dem folgenden Befehl in /mnt/glusterfs einhängen:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(Anstelle von server1.example.com können Sie im obigen Befehl auch server2.example.com verwenden!)
Sie sollten nun die neue Freigabe in den Ausgaben von...
sehenmount
[email protected]:~# mount
sysfs auf /sys geben Sie sysfs (rw,nosuid,nodev,noexec,relatime) ein
proc auf /proc geben Sie proc (rw,nosuid,nodev,noexec,relatime) ein
udev auf /dev geben Sie devtmpfs (rw,relatime,size=10240k,nr_inodes=126813,mode=755) ein
devpts auf /dev/pts geben Sie devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=102704k,mode=755)
/dev/mapper/server1-root on / ext4 eingeben (rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k )
tmpfs auf /run/shm tippe tmpfs (rw,nosuid,nodev,noexec,relatime,size=205400k)
/dev/sda1 auf /boot tippe ext2 (rw,relatime,errors=Continue)
rpc_pipefs auf /var/lib/nfs/rpc_pipefs geben Sie rpc_pipefs (rw,relatime) ein
server1.example.com:/testvol geben Sie auf /mnt/glusterfs fuse.glusterfs (rw,relatime,user_id=0 ,group_id=0,default_permissions,allow_other,max_read=131072)
fusectl auf /sys/fs/fu se/connections type fusectl (rw,relatime)
[email protected]:~#
... und ...
df -h
[E-Mail geschützt]:~#df -h
Dateisystemgröße verwendet. Verfügende Verwendung%MOTTED AUF
rootfs 29g 1,2 g 26g 5% /
Udev 10m 0 10m 0% /Dev
TMPFS 101m 240K 101m 1%/Lauf
/dev/mapper/server1-root 29g 1,2g 26g 5%/
TMPFS 5,0 m 0 5,0 m 0%/run/lock
TMPFS 201M 0 201M 0 % /run/shm
/dev/sda1 228M 18M 199M 9 % /boot
server1.example.com:/testvol 29G 1.2G 26G 5 % /mnt/glusterfs
[email geschützt]:~#
Anstatt die GlusterFS-Freigabe manuell auf dem Client zu mounten, könnten Sie /etc/fstab so ändern, dass die Freigabe automatisch gemountet wird, wenn der Client startet.
Öffnen Sie /etc/fstab und fügen Sie die folgende Zeile an:
vi /etc/fstab
[...] server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0 |
(Auch hier können Sie anstelle von server1.example.com auch server2.example.com verwenden!)
Um zu testen, ob Ihre modifizierte /etc/fstab funktioniert, starten Sie den Client neu:
reboot
Nach dem Neustart sollten Sie die Freigabe in den Ausgaben von ...
findendf -h
... und ...
mount
4 Testen
Lassen Sie uns nun einige Testdateien auf der GlusterFS-Freigabe erstellen:
client1.beispiel.com:
Berühren Sie /mnt/glusterfs/test1
Berühren Sie /mnt/glusterfs/test2
Lassen Sie uns nun das /data-Verzeichnis auf server1.example.com und server2.example.com überprüfen. Die Dateien test1 und test2 sollten auf jedem Knoten vorhanden sein:
server1.beispiel.com/server2.beispiel.com:
ls -l /data
[email protected]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 Sep 30 17:53 test1
-rw-r- -r-- 1 root root 0 Sep 30 17:53 test2
[email protected]:~#
Jetzt fahren wir server1.example.com herunter und fügen einige Dateien auf der GlusterFS-Freigabe auf client1.example.com hinzu/löschen sie.
server1.beispiel.com:
shutdown -h now
client1.beispiel.com:
touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2
Die Änderungen sollten im Verzeichnis /data auf server2.example.com sichtbar sein:
server2.beispiel.com:
ls -l /data
[email protected]:~# ls -l /data
insgesamt 8
-rw-r--r-- 1 root root 0 Sep 30 17:53 test1
-rw-r- -r-- 1 root root 0 Sep 30 17:54 test3
-rw-r--r-- 1 root root 0 Sep 30 17:54 test4
[email protected]:~#
Lassen Sie uns server1.example.com erneut booten und einen Blick auf das /data-Verzeichnis werfen:
server1.beispiel.com:
ls -l /data
[email protected]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 Sep 30 17:53 test1
-rw-r- -r-- 1 root root 0 Sep 30 17:53 test2
[email protected]:~#
Wie Sie sehen, hat server1.example.com die Änderungen nicht bemerkt, die während des Ausfalls vorgenommen wurden. Dies ist einfach zu beheben, wir müssen lediglich einen Lesebefehl auf der GlusterFS-Freigabe auf client1.example.com aufrufen, z. B.:
client1.beispiel.com:
ls -l /mnt/glusterfs/
[email protected]:~# ls -l /mnt/glusterfs/
insgesamt 8
-rw-r--r-- 1 root root 0 Sep 30 17:53 test1
-rw -r--r-- 1 root root 0 Sep 30 17:54 test3
-rw-r--r-- 1 root root 0 Sep 30 17:54 test4
[email protected]:~ #
Sehen Sie sich nun erneut das /data-Verzeichnis auf server1.example.com an, und Sie sollten sehen, dass die Änderungen auf diesen Knoten repliziert wurden:
server1.beispiel.com:
ls -l /data
[email protected]:~# ls -l /data
total 0
-rw-r--r-- 1 root root 0 Sep 30 17:53 test1
-rw-r- -r-- 1 root root 0 Sep 30 17:54 test3
-rw-r--r-- 1 root root 0 Sep 30 17:54 test4
[email protected]:~#
5 Links
- GlusterFS:http://www.gluster.org/
- GlusterFS 3.2-Dokumentation:http://download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- Debian:http://www.debian.org/