Работа с mdadm в Linux для организации RAID

Тематические термины: RAID, Linux

mdadm — утилита для работы с программными RAID-массивами различных уровней. В данной инструкции рассмотрим примеры ее использования.

Установка mdadm

Утилита mdadm может быть установлена одной командой.

Если используем CentOS / Red Hat:

Если используем Ubuntu / Debian:

Сборка RAID

Перед сборкой, стоит подготовить наши носители. Затем можно приступать к созданию рейд-массива.

Подготовка носителей

Сначала необходимо занулить суперблоки на дисках, которые мы будем использовать для построения RAID (если диски ранее использовались, их суперблоки могут содержать служебную информацию о других RAID):

* в данном примере мы зануляем суперблоки для дисков sdb и sdc.

Посмотреть, какие в вашей системе есть устройства можно командой:

lsblk

Если мы получили ответ:

... то значит, что диски не использовались ранее для RAID. Просто продолжаем настройку.

Далее нужно удалить старые метаданные и подпись на дисках:

Создание рейда

Для сборки избыточного массива применяем следующую команду:

* где:

• /dev/md0 — устройство RAID, которое появится после сборки; 
• -l 1 — уровень RAID; 
• -n 2 — количество дисков, из которых собирается массив; 
• /dev/sd{b,c} — сборка выполняется из дисков sdb и sdc.

Мы должны увидеть что-то на подобие:

Также система задаст контрольный вопрос, хотим ли мы продолжить и создать RAID — нужно ответить y:

Мы увидим что-то на подобие:

Вводим команду:

... и находим информацию о том, что у наших дисков sdb и sdc появился раздел md0, например:

* в примере мы видим собранный raid1 из дисков sdb и sdc.

Создание файла mdadm.conf

В файле mdadm.conf находится информация о RAID-массивах и компонентах, которые в них входят. Для его создания выполняем следующие команды:

Пример содержимого:

* в данном примере хранится информация о массиве /dev/md0 — его уровень 1, он собирается из 2-х дисков.

Создание файловой системы и монтирование массива

Создание файловой системы для массива выполняется также, как для раздела, например:

* данной командой мы создаем на md0 файловую систему ext4.

или:

* для файловой системы xfs.

Примонтировать раздел можно командой:

* в данном случае мы примонтировали наш массив в каталог /mnt.

Чтобы данный раздел также монтировался при загрузке системы, добавляем в fstab.

Сначала смотрим идентификатор раздела:

Мы увидим что-то на подобие:

* в моем примере мы будем использовать идентификатор ffa7c082-7613-4dbc-ae62-3f5508652cf6.

Открываем теперь fstab и добавляем строку:

Если ранее мы монтировали раздел в каталог /mnt, вводим:

И после: 

Мы должны увидеть примонтированный раздел md, например:

Информация о RAID

Посмотреть состояние всех RAID можно командой:

В ответ мы получим что-то на подобие:

* где md0 — имя RAID устройства; raid1 sdc[1] sdb[0] — уровень избыточности и из каких дисков собран; 1046528 blocks — размер массива; [2/2] [UU] — количество юнитов, которые на данный момент используются.
** мы можем увидеть строку md0 : active(auto-read-only) — это означает, что после монтирования массива, он не использовался для записи.

Подробную информацию о конкретном массиве можно посмотреть командой:

* где /dev/md0 — имя RAID устройства.

Пример ответа:

* где:

• Version — версия метаданных.
• Creation Time — дата в время создания массива.
• Raid Level — уровень RAID.
• Array Size — объем дискового пространства для RAID.
• Used Dev Size — используемый объем для устройств. Для каждого уровня будет индивидуальный расчет: RAID1 — равен половине общего размера дисков, RAID5 — равен размеру, используемому для контроля четности.
• Raid Devices — количество используемых устройств для RAID.
• Total Devices — количество добавленных в RAID устройств.
• Update Time — дата и время последнего изменения массива.
• State — текущее состояние. clean — все в порядке.
• Active Devices — количество работающих в массиве устройств.
• Working Devices — количество добавленных в массив устройств в рабочем состоянии.
• Failed Devices — количество сбойных устройств.
• Spare Devices — количество запасных устройств.
• Consistency Policy — политика согласованности активного массива (при неожиданном сбое). По умолчанию используется resync — полная ресинхронизация после восстановления. Также могут быть bitmap, journal, ppl.
• Name — имя компьютера.
• UUID — идентификатор для массива.
• Events — количество событий обновления.
• Chunk Size (для RAID5) — размер блока в килобайтах, который пишется на разные диски.

Подробнее про каждый параметр можно прочитать в мануале для mdadm:

Также, информацию о разделах и дисковом пространстве массива можно посмотреть командой fdisk:

Проверка целостности

Для проверки целостности вводим:

Результат проверки смотрим командой:

* если команда возвращает 0, то с массивом все в порядке.

Остановка проверки:

Восстановление RAID

Рассмотрим два варианта восстановлении массива.

Замена диска

В случае выхода из строя одного из дисков массива, команда cat /proc/mdstat покажет следующее:

* о наличии проблемы нам говорит нижнее подчеркивание вместо U — [U_] вместо [UU].

Или:

* статус degraded говорит о проблемах с RAID.

Для восстановления, сначала удалим сбойный диск, например:

Если нам нужно заменить диск, но при этом он в mdadm имеет рабочее состояние, мы получим ошибку:

... device or resource busy

Сначала, нам нужно пометить диск как сбойный:

mdadm /dev/md0 --manage --fail /dev/sdc

* в данном примере диск sdb массива md0 будет помечен сбойным.

Теперь удаляем:

mdadm /dev/md0 --remove /dev/sdc

Теперь добавим новый:

Смотрим состояние массива:

* recovering говорит, что RAID восстанавливается; Rebuild Status — текущее состояние восстановления массива (в данном примере он восстановлен на 40%).

Если синхронизация выполняется слишком медленно, можно увеличить ее скорость. Для изменения скорости синхронизации вводим:

* по умолчанию скорость speed_limit_min = 1000 Кб, speed_limit_max — 200000 Кб. Для изменения скорости, можно поменять только минимальную.

Пересборка массива

Если нам нужно вернуть ранее разобранный или развалившийся массив из дисков, которые уже входили в состав RAID, вводим:

* данная команда сама найдет необходимую конфигурацию и восстановит RAID.

Также, мы можем указать, из каких дисков пересобрать массив:

Запасной диск (Hot Spare)

Если в массиве будет запасной диск для горячей замены, при выходе из строя одного из основных дисков, его место займет запасной.

Диском Hot Spare станет тот, который просто будет добавлен к массиву:

Информация о массиве изменится, например:

Проверить работоспособность резерва можно вручную, симулировав выход из строя одного из дисков:

И смотрим состояние:

* как видим, начинается ребилд. На замену вышедшему из строя sdb встал hot-spare sdd.

Добавить диск к массиву

В данном примере рассмотрим вариант добавления активного диска к RAID, который будет использоваться для работы, а не в качестве запасного.

Добавляем диск к массиву:

Новый диск мы увидим в качестве spare:

Теперь расширяем RAID:

* в данном примере подразумевается, что у нас RAID 1 и мы добавили к нему 3-й диск.

Удаление массива

Если нам нужно полностью разобрать RAID, сначала размонтируем и остановим его:

* где /mnt — каталог монтирования нашего RAID.

Если мы получим ошибку umount: /mnt: target is busy, то смотрим пользовательские процессы, которые мешают отмонтировать раздел:

fuser -vm /mnt

И останавливаем их.

* где /dev/md0 — массив, который мы хотим разобрать.

Если мы получим ошибку mdadm: fail to stop array /dev/md0: Device or resource busy, с помощью команды

lsof -f -- /dev/md0

... смотрим процессы, которые используют раздел и останавливаем их.

Затем очищаем суперблоки на всех дисках, из которых он был собран:

* где диски /dev/sdb, /dev/sdc, /dev/sdd были частью массива md0.

А также удаляем метаданные и подпись: