Настройка GlusterFS в Astra Linux

Используемые термины: GlusterFS, Astra Linux.

В инструкции будет рассмотрен пример создания кластера GlusterFS. Нами будут использоваться 3 сервера:

• server1: 192.168.0.10.
• server2: 192.168.0.11.
• server3: 192.168.0.12.

В качестве операционной системы используется Astra Linux. Также инструкция подойдет для Debian или Ubuntu.

Предварительная настройка

Подготовим наши серверы к развертыванию и настройке GlusterFS.

1. Установка curl

Обновляем кэш репозиториев:

Устанавливаем curl:

* данный пакет позволяет выполнять запросы по сети, в частности, для загрузки файлов.

2. Настройка брандмауэра

По умолчанию, в системах Linux на базе Deb брандмауэр работает в режиме «пропустить все». Но если в нашей системе он используется и блокирует соединения, нам необходимо открыть следующие порты:

• 24007 — обработка запросов сервисом glusterfsd.
• 24008 — порт управления.
• 49152-49156 — порты кирпичиков (brick), которые являются единицей хранения GlusterFS. На каждый кирпич свой порт. В данном примере мы открыли портов с небольшим запасом.

Вводим команды:

Для сохранения правил используем iptables-persistent:

Установка GlusterFS

Для установки самой актуальной версии GlusterFS мы воспользуемся официальным источником пакетов. Выполняем данные команды на всех серверах кластера.

Настройка репозитория

Скачиваем и устанавливаем ключ репозитория glusterfs:

В репозитории glusterfs нет отдельного дистрибутива для Astra Linux, поэтому нам нужно выполнить установку репозитория для Debian. Для этого нам нужно правильно сопоставить нашу версию Astra Linux с версией последнего. В зависимости от редакции системы, используем одну из двух страниц официального источника:

1. Таблица вариантов исполнения Astra Linux Special Edition.

2. Таблица вариантов исполнения Astra Linux Common Edition.

Например, если мы используем Astra Linux SE 1.7, то ей будет соответствовать версия Debian Buster.

Для удобства, создадим переменную, значением которой будет сопоставленная версия:

Теперь создадим файл с настройками репозитория:

* команда запишет строку доступа к репозиторию glusterfs, подставив значение из созданной переменной. Результат будет сохранен в файле /etc/apt/sources.list.d/gluster.list.

Обновляем кэш репозиториев:

Установка glusterfs

Вводим команду:

Разрешаем сервис glusterd и стартуем его:

В зависимости от версии Astra Linux, сервис может называться glusterfs-server. Тогда команды будут следующие:

systemctl enable glusterfs-server

systemctl start glusterfs-server

Проверяем статус:

Или:

systemctl status glusterfs-server

GlusterFS установлена.

Подготовка диска

Предположим, что на всех трех серверах у нас есть диск /dev/sdb, который мы хотим задействовать под нужды GlusterFS.

Для удобства, на каждом сервере создадим переменную с данным именем диска:

Зачистим диск

* утилита wipefs зачистит все метаданные диска.

Создадим файловую систему:

* в данном примере, файловая система xfs с размером индексного дескриптора 512 байт. Данные параметры указаны в официальной документации GlusterFS.

Создадим каталог для хранения brick:

* brick (или кирпич) — это единица хранения GlusterFS. По сути, обычный каталог с обычной файловой системой, где будут размещены служебные данные.

Посмотрим идентификаторы дисков на всех серверах, которые будут использоваться для построения GlusterFS:

Теперь откроем файл:

И добавим информацию для автоматического монтирования диска:

Выполняем монтирование с использованием новой строки в fstab:

Проверяем, что диск примонтировался:

Мы готовы к созданию кластерной файловой системы.

Настройка GlusterFS

Все серверы должны обращаться друг к другу по имени. Если в нашей инфраструктуре нет внутреннего DNS, на серверах открываем файл hosts:

И добавляем информацию о именах серверов и их адресах. В нашем случае записи будут такие:

Теперь переходим на один из серверов кластера, например, на server1 и присоединяем к кластеру другие серверы:

* в нашем примере это серверы server2 и server3.

Мы должны увидеть сообщение об успешном присоединении 

Теперь можно попробовать ввести команду с любого другого сервера:

Мы должны увидеть:

* данное сообщение означает, что server1 уже добавлен к кластеру.

Теперь на любом из серверов введем:

Мы должны увидеть:

* на server1 мы увидим два пира до server2 и server3, а на server2 — server1 и server3 и так далее.

Создадим каталог для брика (основной единицы хранения в GlusterFS):

* /data/brick1 — каталог, который мы создали на этапе выше.

Создадим том glusterfs с типом replicated:

Мы также можем создать кластер из двух нод репликации и одной — свидетеля. Для этого выполняем команду:

gluster volume create gv0 replica 2 arbiter 1 server1:/data/brick1/gv0 server2:/data/brick1/gv0 server3:/data/brick1/gv0

* в данном примере серверы server1 и server2 будут серверами репликации (идут по списку первыми), а server3 будет arbiter.

Мы должны увидеть что-то на подобие:

Чтобы активировать том, вводим команду:

Мы должны увидеть:

Подробнее состояние тома можно посмотреть командой:

В моем примере было:

Том создан и работает.

Подключение тома к клиенту

Мы можем проверить работу GlusterFS на одном из серверов или на любом компьютере в сети.

Необходимо, чтобы в системе был установлен клиент:

Создадим каталог, который будет точкой монтирования:

Вводим команду:

* данной командой мы примонтируем созданный том gv0 в каталог /mnt/gluster-test.

Проверим синхронизацию файлов — создадим любой файл в смонтированном каталоге:

На сервере с GlusterFS проверим, что файл появился в каталоге тома:

Перманентное подключение

Чтобы каталог с glusterfs был примонтирован после перезагрузки системы, нам нужно добавить настройку в файл fstab.

Для начала, отмонтируем предыдущий каталог:

Откроем файл fstab:

Пропишем:

* обратите внимание на адрес сервера, к которому мы будем подключаться (в моем примере server1).

Выполняем монтирование каталогов с использованием fstab: