Настройка GlusterFS в Astra Linux

Обновлено: 13.01.2024

Опубликовано: 19.11.2023

Используемые термины: GlusterFS, Astra Linux.

В инструкции будет рассмотрен пример создания кластера GlusterFS. Нами будут использоваться 3 сервера:

server1: 192.168.0.10.
server2: 192.168.0.11.
server3: 192.168.0.12.

В качестве операционной системы используется Astra Linux. Также инструкция подойдет для Debian или Ubuntu.

Подготовка системы к настройке
Установка и запуск GlusterFS
Подготовка репозитория (опционально)
Установка пакетов
Настройка диска, выделенного для GlusterFS
Создание GlusterFS-тома
Настройка подключения клиента к GlusterFS-тому
Удаление тома

Предварительная настройка

Подготовим наши серверы к развертыванию и настройке GlusterFS.

1. Установка curl

Обновляем кэш репозиториев:

apt update

Устанавливаем curl:

apt install curl

* данный пакет позволяет выполнять запросы по сети, в частности, для загрузки файлов.

2. Настройка брандмауэра

По умолчанию, в системах Linux на базе Deb брандмауэр работает в режиме «пропустить все». Но если в нашей системе он используется и блокирует соединения, нам необходимо открыть следующие порты:

24007 — обработка запросов сервисом glusterfsd.
24008 — порт управления.
49152-49156 — порты кирпичиков (brick), которые являются единицей хранения GlusterFS. На каждый кирпич свой порт. В данном примере мы открыли портов с небольшим запасом.

Вводим команды:

iptables -I INPUT -m state --state NEW -m tcp -p tcp --dport 24007:24008 -j ACCEPT

iptables -I INPUT -m state --state NEW -m tcp -p tcp --dport 49152:49156 -j ACCEPT

Для сохранения правил используем iptables-persistent:

apt install iptables-persistent

netfilter-persistent save

Установка GlusterFS

Для установки самой актуальной версии GlusterFS мы воспользуемся официальным источником пакетов. Выполняем данные команды на всех серверах кластера.

В штатном источнике пакетов Linux уже может быть GlusterFS. При желании, можно пропустить часть с настройкой репозитория и перейти к установке.

Настройка репозитория

Скачиваем и устанавливаем ключ репозитория glusterfs:

curl -fsSL https://download.gluster.org/pub/gluster/glusterfs/9/rsa.pub | gpg --dearmor > /etc/apt/trusted.gpg.d/gluster.gpg

В репозитории glusterfs нет отдельного дистрибутива для Astra Linux, поэтому нам нужно выполнить установку репозитория для Debian. Для этого нам нужно правильно сопоставить нашу версию Astra Linux с версией последнего. В зависимости от редакции системы, используем одну из двух страниц официального источника:

1. Таблица вариантов исполнения Astra Linux Special Edition.

2. Таблица вариантов исполнения Astra Linux Common Edition.

Например, если мы используем Astra Linux SE 1.7, то ей будет соответствовать версия Debian Buster.

Для удобства, создадим переменную, значением которой будет сопоставленная версия:

export DEB_VERSION=buster

Теперь создадим файл с настройками репозитория:

echo "deb [signed-by=/etc/apt/trusted.gpg.d/gluster.gpg] https://download.gluster.org/pub/gluster/glusterfs/LATEST/Debian/${DEB_VERSION}/amd64/apt ${DEB_VERSION} main" > /etc/apt/sources.list.d/gluster.list

* команда запишет строку доступа к репозиторию glusterfs, подставив значение из созданной переменной. Результат будет сохранен в файле /etc/apt/sources.list.d/gluster.list.

Обновляем кэш репозиториев:

apt update

Установка glusterfs

Вводим команду:

apt install glusterfs-server

Разрешаем сервис glusterd и стартуем его:

systemctl enable glusterd

systemctl start glusterd

В зависимости от версии Astra Linux, сервис может называться glusterfs-server. Тогда команды будут следующие:

systemctl enable glusterfs-server

systemctl start glusterfs-server

Проверяем статус:

systemctl status glusterd

Или:

systemctl status glusterfs-server

GlusterFS установлена.

Подготовка диска

Предположим, что на всех трех серверах у нас есть диск /dev/sdb, который мы хотим задействовать под нужды GlusterFS.

Для удобства, на каждом сервере создадим переменную с данным именем диска:

export DISK_NAME=sdb

Зачистим диск

wipefs --all --force /dev/${DISK_NAME}

* утилита wipefs зачистит все метаданные диска.

Создадим файловую систему:

mkfs.xfs -i size=512 /dev/${DISK_NAME}

* в данном примере, файловая система xfs с размером индексного дескриптора 512 байт. Данные параметры указаны в официальной документации GlusterFS.

Создадим каталог для хранения brick:

mkdir -p /data/brick1

* brick (или кирпич) — это единица хранения GlusterFS. По сути, обычный каталог с обычной файловой системой, где будут размещены служебные данные.

Посмотрим идентификаторы дисков на всех серверах, которые будут использоваться для построения GlusterFS:

blkid | grep ${DISK_NAME}

Теперь откроем файл:

vi /etc/fstab

И добавим информацию для автоматического монтирования диска:

UUID=3bb0b16a-fca8-4a93-b734-dd88e2bed53f /data/brick1 xfs defaults 1 2

* где:

UUID — идентификатор диска, который мы получили с помощью команды blkid.
/data/brick1 — созданный каталог, в котором будет храниться информация о brick.
xfs — файловая система, в которой был нами отформатирован диск.

Выполняем монтирование с использованием новой строки в fstab:

mount -a

Проверяем, что диск примонтировался:

df -h

Мы готовы к созданию кластерной файловой системы.

Настройка GlusterFS

Все серверы должны обращаться друг к другу по имени. Если в нашей инфраструктуре нет внутреннего DNS, на серверах открываем файл hosts:

vi /etc/hosts

И добавляем информацию о именах серверов и их адресах. В нашем случае записи будут такие:

192.168.0.10 server1
192.168.0.11 server2
192.168.0.12 server3

Теперь переходим на один из серверов кластера, например, на server1 и присоединяем к кластеру другие серверы:

gluster peer probe server2

gluster peer probe server3

* в нашем примере это серверы server2 и server3.

Мы должны увидеть сообщение об успешном присоединении

peer probe: success

Теперь можно попробовать ввести команду с любого другого сервера:

gluster peer probe server1

Мы должны увидеть:

peer probe: success. Host server1 port 24007 already in peer list

* данное сообщение означает, что server1 уже добавлен к кластеру.

Теперь на любом из серверов введем:

gluster peer status

Мы должны увидеть:

Number of Peers: 2

Hostname: server2
Uuid: f0e7b138-4874-4bc0-ab91-54f20c7068b4
State: Peer in Cluster (Connected)

Hostname: server3
Uuid: f0e7b138-4532-4bc0-ab91-54f20c701241
State: Peer in Cluster (Connected)

* на server1 мы увидим два пира до server2 и server3, а на server2 — server1 и server3 и так далее.

Создадим каталог для брика (основной единицы хранения в GlusterFS):

mkdir -p /data/brick1/gv0

* /data/brick1 — каталог, который мы создали на этапе выше.

Создадим том glusterfs с типом replicated:

gluster volume create gv0 replica 3 server1:/data/brick1/gv0 server2:/data/brick1/gv0 server3:/data/brick1/gv0

* где:

gv0 — имя тома.
replica — указываем на количество сервер, используемых для репликации данных
server[1,2,3] — перечисляем серверы-участники и пути к каталогам для brick.

** есть возможность создать тома разных типов, от чего зависит политика хранения данных. Подробнее можно почитать в официальной документации.

Мы также можем создать кластер из двух нод репликации и одной — свидетеля. Для этого выполняем команду:

gluster volume create gv0 replica 2 arbiter 1 server1:/data/brick1/gv0 server2:/data/brick1/gv0 server3:/data/brick1/gv0

* в данном примере серверы server1 и server2 будут серверами репликации (идут по списку первыми), а server3 будет arbiter.

Мы должны увидеть что-то на подобие:

volume create: gv0: success: please start the volume to access data

Чтобы активировать том, вводим команду:

gluster volume start gv0

Мы должны увидеть:

volume start: gv0: success

Подробнее состояние тома можно посмотреть командой:

gluster volume info

В моем примере было:

Volume Name: gv0
Type: Replicate
Volume ID: f25cc3d8-631f-41bd-96e1-3e22a4c6f71f
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 3 = 3
Transport-type: tcp
Bricks:
Brick1: server1:/data/brick1/gv0
Brick2: server2:/data/brick1/gv0
Brick3: server3:/data/brick1/gv0
Options Reconfigured:
transport.address-family: inet

Том создан и работает.

Подключение тома к клиенту

Мы можем проверить работу GlusterFS на одном из серверов или на любом компьютере в сети.

Необходимо, чтобы в системе был установлен клиент:

apt install glusterfs-client

Создадим каталог, который будет точкой монтирования:

mkdir /mnt/gluster-test

Вводим команду:

mount -t glusterfs server1:/gv0 /mnt/gluster-test

* данной командой мы примонтируем созданный том gv0 в каталог /mnt/gluster-test.

Проверим синхронизацию файлов — создадим любой файл в смонтированном каталоге:

touch /mnt/gluster-test/testfile

На сервере с GlusterFS проверим, что файл появился в каталоге тома:

ls /data/brick1/gv0

Перманентное подключение

Чтобы каталог с glusterfs был примонтирован после перезагрузки системы, нам нужно добавить настройку в файл fstab.

Для начала, отмонтируем предыдущий каталог:

umount /mnt/gluster-test

Откроем файл fstab:

vi /etc/fstab

Пропишем:

server1:/gv0 /srv glusterfs defaults,_netdev 0 0

* обратите внимание на адрес сервера, к которому мы будем подключаться (в моем примере server1).

Выполняем монтирование каталогов с использованием fstab:

mount -a

Удаление тома

На всех серверах открываем fstab:

vi /etc/fstab

Удаляем строку, где мы монтировали удаляемый том:

~~server1:/gv0 /srv glusterfs defaults,_netdev 0 0~~

* в нашем примере мы удалим том gv0.

Отмонтируем раздел. В нашем примере мы его монтировали в каталог /srv:

umount /srv

Останавливаем вольюм:

gluster volume stop gv0

Система запросит подтверждения — вводим y:

Stopping volume will make its data inaccessible. Do you want to continue? (y/n) y

Теперь можно удалить раздел в самом гластере:

gluster volume delete gv0

Мы будем предупреждены, что данные будут потеряны. Соглашаемся:

Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y

Если удаление пройдет корректно, мы увидим что-то на подобие:

volume delete: gv0: success