GNU/Linux >> LINUX-Kenntnisse >  >> Cent OS

Hochverfügbarer Speicher mit GlusterFS auf CentOS 5.4 – Automatische Dateireplikation (Mirror) über zwei Speicherserver hinweg

Dieses Tutorial zeigt, wie Sie einen Hochverfügbarkeitsspeicher mit zwei Speicherservern (CentOS 5.4) einrichten, die GlusterFS verwenden. Jeder Speicherserver ist ein Spiegel des anderen Speicherservers, und Dateien werden automatisch über beide Speicherserver repliziert. Das Client-System (auch CentOS 5.4) kann auf den Speicher zugreifen, als wäre es ein lokales Dateisystem. GlusterFS ist ein geclustertes Dateisystem, das auf mehrere Petabyte skaliert werden kann. Es aggregiert verschiedene Speicherbausteine ​​über Infiniband-RDMA- oder TCP/IP-Verbindungen zu einem großen parallelen Netzwerkdateisystem. Storage Bricks können aus jeder handelsüblichen Hardware wie x86_64-Servern mit SATA-II-RAID und Infiniband-HBA hergestellt werden.

Ich gebe keine Garantie dafür, dass dies bei Ihnen funktioniert!

1 Vorbemerkung

In diesem Tutorial verwende ich drei Systeme, zwei Server und einen Client:

  • server1.example.com:IP-Adresse 192.168.0.100 (Server)
  • server2.example.com:IP-Adresse 192.168.0.101 (Server)
  • client1.example.com:IP-Adresse 192.168.0.102 (Client)

Alle drei Systeme sollten in der Lage sein, die Hostnamen der anderen Systeme aufzulösen. Wenn dies nicht über DNS möglich ist, sollten Sie die Datei /etc/hosts so bearbeiten, dass sie auf allen drei Systemen die folgenden Zeilen enthält:

vi /etc/hosts
[...]
192.168.0.100           server1.example.com server1
192.168.0.101           server2.example.com server2
192.168.0.102           client1.example.com client1
[...]

(Es ist auch möglich, IP-Adressen anstelle von Hostnamen im folgenden Setup zu verwenden. Wenn Sie lieber IP-Adressen verwenden, müssen Sie sich nicht darum kümmern, ob die Hostnamen aufgelöst werden können oder nicht.)

2 Einrichten der GlusterFS-Server

server1.beispiel.com/server2.beispiel.com:

GlusterFS ist nicht als Paket für CentOS 5.4 verfügbar, daher müssen wir es selbst erstellen. Zuerst installieren wir die Voraussetzungen:

yum groupinstall 'Development Tools'
yum groupinstall 'Development Libraries'
yum install libibverbs-devel fuse-devel

Dann laden wir die neueste GlusterFS-Version von http://www.gluster.org/download.php herunter und erstellen sie wie folgt:

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

Am Ende des ./configure-Befehls sollten Sie etwa Folgendes sehen:

[...]
GlusterFS-Konfigurationszusammenfassung
=========================
FUSE-Client        :ja
Infiniband-Verben   : ja
epoll IO multiplex : ja
Berkeley-DB        : ja
libglusterfsclient : ja
argp-standalone    : nein

[[email protected] glusterfs-2.0.9]#

make &&make install
ldconfig

Überprüfen Sie anschließend die GlusterFS-Version (sollte 2.0.9 sein):

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 erstellt am 1. März 2010 15:34:50
Repository-Revision:v2.0.9
Copyright ( c) 2006-2009 Gluster Inc.
Für GlusterFS gilt ABSOLUT KEINE GEWÄHRLEISTUNG.
Sie dürfen Kopien von GlusterFS unter den Bedingungen der GNU General Public License weitergeben.
[[email protected] glusterfs-2.0.9]#

Als nächstes erstellen wir ein paar Verzeichnisse:

mkdir /data/
mkdir /data/export
mkdir /data/export-ns
mkdir /etc/glusterfs

Jetzt erstellen wir die GlusterFS-Serverkonfigurationsdatei /etc/glusterfs/glusterfsd.vol, die definiert, welches Verzeichnis exportiert wird (/data/export) und welcher Client sich verbinden darf (192.168.0.102 =client1.example.com):

vi /etc/glusterfs/glusterfsd.vol
volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp
  option auth.addr.brick.allow 192.168.0.102
  subvolumes brick
end-volume

Bitte beachten Sie, dass für die IP-Adressen Wildcards verwendet werden können (z. B. 192.168.*) und mehrere IP-Adressen durch Komma getrennt angegeben werden können (z. B. 192.168.0.102,192.168.0.103).

Danach erstellen wir den folgenden Symlink...

ln -s /usr/local/sbin/glusterfsd /sbin/glusterfsd

... und dann die Systemstartlinks für den GlusterFS-Server und starten Sie ihn:

chkconfig --levels 35 glusterfsd on
/etc/init.d/glusterfsd start

3 Einrichten des GlusterFS-Clients

client1.beispiel.com:

GlusterFS ist nicht als Paket für CentOS 5.4 verfügbar, daher müssen wir es selbst erstellen. Zuerst installieren wir die Voraussetzungen:

yum groupinstall 'Development Tools'
yum groupinstall 'Development Libraries'
yum install libibverbs-devel fuse-devel

Dann laden wir das Fuse-Kernel-Modul...

modprobe fuse

... und erstellen Sie die Datei /etc/rc.modules mit folgendem Inhalt, damit das Fuse-Kernel-Modul automatisch geladen wird, wenn das System bootet:

vi /etc/rc.modules
modprobe fuse

Machen Sie die Datei ausführbar:

chmod +x /etc/rc.modules

Dann laden wir die Quellen von GlusterFS 2.0.9 herunter (bitte beachten Sie, dass dies dieselbe Version ist, die auf dem Server installiert ist!) und bauen GlusterFS wie folgt:

cd /tmp
wget http://ftp.gluster.com/pub/gluster/glusterfs/2.0/LATEST/glusterfs-2.0.9.tar.gz
tar xvfz glusterfs-2.0.9.tar .gz
cd glusterfs-2.0.9
./configure

Am Ende des ./configure-Befehls sollten Sie etwa Folgendes sehen:

[...]
GlusterFS-Konfigurationszusammenfassung
=========================
FUSE-Client        :ja
Infiniband-Verben   : ja
epoll IO multiplex : ja
Berkeley-DB        : ja
libglusterfsclient : ja
argp-standalone    : nein

make &&make install
ldconfig

Überprüfen Sie anschließend die GlusterFS-Version (sollte 2.0.9 sein):

glusterfs --version

[[email protected] glusterfs-2.0.9]# glusterfs --version
glusterfs 2.0.9 erstellt am 1. März 2010 15:58:06
Repository-Revision:v2.0.9
Copyright ( c) 2006-2009 Gluster Inc.
Für GlusterFS gilt ABSOLUT KEINE GEWÄHRLEISTUNG.
Sie dürfen Kopien von GlusterFS unter den Bedingungen der GNU General Public License weitergeben.
[[email protected] glusterfs-2.0.9]#

Dann erstellen wir die folgenden zwei Verzeichnisse:

mkdir /mnt/glusterfs
mkdir /etc/glusterfs

Als nächstes erstellen wir die Datei /etc/glusterfs/glusterfs.vol:

vi /etc/glusterfs/glusterfs.vol
volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume replicate
  type cluster/replicate
  subvolumes remote1 remote2
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes replicate
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

Stellen Sie sicher, dass Sie die richtigen Server-Hostnamen oder IP-Adressen in den Zeilen der Option remote-host verwenden!

Das ist es! Jetzt können wir das GlusterFS-Dateisystem mit einem der folgenden beiden Befehle in /mnt/glusterfs einhängen:

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

oder

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

Sie sollten nun die neue Freigabe in den Ausgaben von...

sehen 
mount

[[email protected] ~]# mount
/dev/mapper/VolGroup00-LogVol00 on / type ext3 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts auf /dev/pts geben Sie devpts (rw,gid=5,mode=620) ein
/dev/sda1 auf /boot geben Sie ext3 (rw) ein
tmpfs auf / dev/shm tippe tmpfs (rw)
keine auf /proc/sys/fs/binfmt_misc tippe binfmt_misc (rw)
sunrpc auf /var/lib/nfs/rpc_pipefs tippe rpc_pipefs (rw)
glusterfs#/etc/glusterfs/glusterfs.vol auf /mnt/glusterfs Typ Fuse (rw,allow_other,default_permissions,max_read=131072)
[[email protected] ~]#

... und ...

df -h

[[email protected] ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                                           29G  2.2G   25G  br 9 %. / /dev/sda1 99m 13m 82m 14%/boot
tmpfs 187m 0 187m 0%/dev/shm
glusterfs#/etc/glusterfs/glusterfs.vol
28g 2,3G 25G 9%/ mnt/glusterfs
[[email protected] ~]#

(server1.example.com und server2.example.com haben jeweils 28 GB Speicherplatz für das GlusterFS-Dateisystem, aber da die Daten gespiegelt werden, sieht der Client nicht 56 ​​GB (2 x 28 GB), sondern nur 28 GB.)

Anstatt die GlusterFS-Freigabe manuell auf dem Client zu mounten, könnten Sie /etc/fstab so ändern, dass die Freigabe automatisch gemountet wird, wenn der Client startet.

Öffnen Sie /etc/fstab und fügen Sie die folgende Zeile an:

vi /etc/fstab  
[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults  0  0

Um zu testen, ob Ihre modifizierte /etc/fstab funktioniert, starten Sie den Client neu:

reboot

Nach dem Neustart sollten Sie die Freigabe in den Ausgaben von ...

finden 
df -h

... und ...

mount

4 Testen

Lassen Sie uns nun einige Testdateien auf der GlusterFS-Freigabe erstellen:

client1.beispiel.com:

Berühren Sie /mnt/glusterfs/test1
Berühren Sie /mnt/glusterfs/test2

Lassen Sie uns nun das Verzeichnis /data/export auf server1.example.com und server2.example.com überprüfen. Die Dateien test1 und test2 sollten auf jedem Knoten vorhanden sein:

server1.beispiel.com/server2.beispiel.com:

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test2
[[email protected] ~]#

Jetzt fahren wir server1.example.com herunter und fügen einige Dateien auf der GlusterFS-Freigabe auf client1.example.com hinzu/löschen sie.

server1.beispiel.com:

shutdown -h now

client1.beispiel.com:

touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

Die Änderungen sollten im Verzeichnis /data/export auf server2.example.com sichtbar sein:

server2.beispiel.com:

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test3
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test4
[[email protected] ~]#

Lassen Sie uns server1.example.com erneut booten und einen Blick auf das /data/export-Verzeichnis werfen:

server1.beispiel.com:

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test2
[[email protected] ~]#

Wie Sie sehen, hat server1.example.com die Änderungen nicht bemerkt, die während des Ausfalls vorgenommen wurden. Dies ist einfach zu beheben, wir müssen lediglich einen Lesebefehl auf der GlusterFS-Freigabe auf client1.example.com aufrufen, z. B.:

client1.beispiel.com:

ls -l /mnt/glusterfs/

[[email protected] ~]# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test3
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test4
[[E-Mail geschützt] ~]#

Sehen Sie sich jetzt noch einmal das Verzeichnis /data/export auf server1.example.com an, und Sie sollten sehen, dass die Änderungen auf diesen Knoten repliziert wurden:

server1.beispiel.com:

ls -l /data/export

[[email protected] ~]# ls -l /data/export
total 0
-rw-r--r-- 1 root root 0 2010-02-22 16:50 test1
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test3
-rw-r--r-- 1 root root 0 2010-02-22 16:53 test4
[[email protected] ~]#

5 Links

  • GlusterFS:http://www.gluster.org/
  • CentOS:http://www.centos.org/

Cent OS

  1. Hochverfügbarkeitsspeicher mit GlusterFS auf Debian 8 – Spiegelung über zwei Speicherserver

  2. Hochverfügbarkeitsspeicher mit GlusterFS auf CentOS 7 – Spiegelung über zwei Speicherserver

  3. Automatische Dateireplikation (Mirror) über zwei Speicherserver mit GlusterFS 3.2.x auf Ubuntu 12.10

  4. Hochverfügbarer Speicher mit GlusterFS auf Debian Lenny - Automatische Dateireplikation über zwei Speicherserver hinweg

  5. Erstellen eines NFS-ähnlichen eigenständigen Speicherservers mit GlusterFS unter CentOS 5.4

Konfigurieren Sie automatische Updates mit yum-cron auf CentOS 7

Hochverfügbarkeitsspeicher mit GlusterFS auf Ubuntu 18.04 LTS

Hochverfügbarer Speicher mit GlusterFS 3.0.x auf Debian Squeeze – Automatische Dateireplikation über zwei Speicherserver hinweg

Hochverfügbarer Speicher mit GlusterFS 3.2.x auf Debian Wheezy – Automatische Dateireplikation (Mirror) über zwei Speicherserver

Verteilter replizierter Speicher über vier Speicherknoten mit GlusterFS 3.2.x auf CentOS 6.3

Hochverfügbarer Speicher mit GlusterFS auf Fedora 12 – Automatische Dateireplikation (Mirror) über zwei Speicherserver