Скрипт на bash для копирования данных с одного кластера Clickhouse на другой

Обновлено и опубликовано Опубликовано:

В данном примере будет рассмотрен конкретный случай копирования данных с одного кластера Clickhouse на другой. С некоторыми модификациями, вы можете адаптировать сценарий под себя.

Мы будем выполнять задачу с помощью скрипта bash.

Работа скрипта и требования к запуску
Скрипт для импорта данных
Описание строк кода
Запуск скрипта
Как определить окончание процесса импорта
Дополнительные материалы

Как будет работать скрипт

Запускать данных сценарий необходимо на одной из нод кластера, куда будут импортироваться данные. Он будет выполнять удаленное подключения к источнику данных, читать список таблиц и создавать их на целевом кластере, а после переносить данные с помощью запросов INSERT + SELECT * FROM remote().

В самом скрипте мы не будем хранить конкретных данных для подключения и указания источника. Все это будем передавать с аргументами.

Условия:

  • Использование таблиц типа Distributed. Именно они будет использоваться для перекачки данных.
  • В момент работы скрипта необходимо, чтобы с данными не происходило никаких изменений. Это важно для сохранения целостности информации.
  • Оба кластера должны быть настроены одинаково. А именно, иметь одинаковые названия, иметь то же число шард и реплик. Это важно, так как подразумевается использование таблиц типа Distributed, в которых хранятся настройки размещения данных между участниками кластера. С модификацией данных параметров вы можете изменить под себя перенос данных.

Предварительно необходимо:

  • Выбрать два сервера. Один на стороне кластера источника данных, второй — целевого, куда будем отправлять данные. Назовем их сервер-источник и сервер-цель.
  • С сервера-цели необходимо обеспечить сетевое подключение для клиента Clickhouse к серверу-источнику. При необходимости, создать учетную запись с соответствующими правами. Ссылки на дополнительные материалы приведены ниже.
  • На самом сервере-целе, где будет запускаться скрипт, настроить возможность беспарольного подключения к локальному серверу Clickhouse (поведение по умолчанию для системной записи root).

Ниже данные вопросы рассмотрим подробнее.

Пример скрипта

Напомним, что скрипт должен запускаться на сервере, куда будут импортироваться данные. Поэтому хорошей идеей будет создать сам скрипт на нем.

Создадим каталог, где будем хранить скрипт:

mkdir /scripts

Создадим bash-сценарий для копирования данных Clickhiuse:

vi /scripts/clickhouse-import-data.sh

  1. #!/bin/bash
  2. PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
  3.  
  4. while getopts :d::h::p::u::c: arg
  5. do
  6.   case ${arg} in
  7.     d)
  8.       db="${OPTARG}"
  9.       ;;
  10.     h)
  11.       db_host="${OPTARG}"
  12.       ;;
  13.     p)
  14.       db_port="${OPTARG}"
  15.       ;;
  16.     u)
  17.       db_user="${OPTARG}"
  18.       ;;
  19.     c)
  20.       db_cluster="${OPTARG}"
  21.       ;;
  22.     :)
  23.       echo -e "\033[0;31mОшибка: для опции -${OPTARG} требуется значение.\033[0m"
  24.       exit 1
  25.       ;;
  26.     *) exit 1
  27.   esac
  28. done
  29.  
  30. if [ -z "${db}" ] || [ -z "${db_host}" ] || [ -z "${db_user}" ] || [ -z "${db_cluster}" ]
  31. then
  32.   echo -e "\033[0;31mОшибка. Указаны не все обязательные аргументы.\033[0m"
  33.   echo "Синтаксис: $0 -d 'Имя базы данных' -h 'Хост источника' -u 'Имя учетной записи для подключения к хосту clickhouse' -c 'Имя кластера clickhouse' [ -p 'Порт для подключения к хосту clickhouse' ]"
  34.   exit 1
  35. fi
  36.  
  37. db_port=${db_port:-9000}
  38.  
  39. echo -e "\nВведите пароль для Clickhouse-пользователя ${db_user}:"
  40. read -s db_pass
  41.  
  42. remote_connect_args="-u${db_user} --password ${db_pass} -h${db_host} --port ${db_port}"
  43.  
  44. clickhouse-client -q "SELECT 1" &>/dev/null
  45. if [ $? -ne 0 ]
  46. then
  47.   echo -e "\033[0;31mОшибка. Не удалось подключиться к локальному серверу баз данных.\033[0m"
  48.   echo "Проверьте подключение командой:"
  49.   echo "clickhouse-client -q 'SELECT 1'"
  50.   exit 1
  51. fi
  52.  
  53. clickhouse-client ${remote_connect_args} -q "SELECT 1" &>/dev/null
  54. if [ $? -ne 0 ]
  55. then
  56.   echo -e "\n\033[0;31mОшибка. Не удалось подключиться к серверу-источнику. Проверьте введенные аргументы\033[0m"
  57.   echo "Используемые данные:"
  58.   echo "Хост: ${db_host}"
  59.   echo "Порт: ${db_port}"
  60.   echo "Пользователь: ${db_user}"
  61.   echo "Пароль: ${db_pass}"
  62.   exit 1
  63. fi
  64.  
  65. check_db=`clickhouse-client ${remote_connect_args} -q "SHOW databases LIKE '${db}'"`
  66. if [[ "${check_db}" != "${db}" ]]
  67. then
  68.   echo -e "\n\033[0;31mОшибка. Базы ${db} не существует на удаленном хосте\033[0m"
  69.   exit 1
  70. fi
  71.  
  72. clickhouse-client -q "CREATE DATABASE IF NOT EXISTS ${db} ON CLUSTER '${db_cluster}'" &>/dev/null
  73.  
  74. for table in `clickhouse-client ${remote_connect_args} -nmq "USE ${db} ; SHOW tables;"`
  75. do
  76.   create_table_query=`clickhouse-client ${remote_connect_args} -q "SHOW CREATE TABLE ${db}.${table}" --format=TSVRaw | sed -e "s/CREATE TABLE ${db}.${table}/CREATE TABLE IF NOT EXISTS ${db}.${table} ON CLUSTER '${db_cluster}'/"`
  77.   echo -e "\nВосстановление структуры таблицы ${table}"
  78.   clickhouse-client -q "${create_table_query}" &>/dev/null
  79. done
  80.  
  81. for table in `clickhouse-client -q "SELECT name FROM system.tables WHERE database='${db}' AND engine='Distributed'"`
  82. do
  83.   table_count=`clickhouse-client -q "SELECT COUNT(*) FROM ${db}.${table}"`
  84.   if [ "${table_count}" != "0" ]
  85.   then
  86.     echo -e "\n\033[0;31mВнимание!\033[0m Таблица ${table} содержит данные. Если желаете продолжить, введите ее имя:"
  87.     read table_confirm
  88.     if [ "${table_confirm}" != "${table}" ]
  89.     then
  90.       echo -e "Восстановление данных для таблицы ${table} прервано. Переходим к следующей."
  91.       continue
  92.     fi
  93.   fi
  94.  
  95.   echo -e "\nВосстановление данных для таблицы ${table}"
  96.   clickhouse-client -nmq "SET throw_on_max_partitions_per_insert_block = false; INSERT INTO ${db}.${table} SELECT * FROM remote('${db_host}:${db_port}', ${db}, ${table}, '${db_user}', '${db_pass}');"
  97.   [[ $? -ne 0 ]] && exit 1
  98.  
  99.   echo "Данные для таблицы ${table} скопированы."
  100. done

Описание скрипта

Стоит обратить внимание на следующие пункты:

4 - 28 Указываем, как нужно обработать аргументы, передаваемые скрипту. Подразумевается использование следующих параметров:
d — имя базы данных, к которой мы подключимся для импорта информации.
h — адрес сервера-источника, куда нужно подключиться.
p — порт, на котором слушает clickhouse на сервере-источнике. Если не указать, будет использоваться порт по умолчанию 9000.
u — учетная запись пользователя, под которым мы будем подключаться к серверу-источнику.
c — имя кластера clickhouse, для которого будут выполняться действия.
Данные аргументы принимают значения, которые используются для объявления переменных.
30 - 35 Выполняем наличие обязательных аргументов. Если один из них не был передан, скрипт вернет ошибку.
39 - 40 Запрашиваем пароль у пользователя в момент запуска скрипта. Это пароль для подключения к clickhouse сервера-источника под пользователем, которого мы передаем с аргументом -u.
42 Создаем переменную с указанием параметров подключения к clickhouse-server. Она нам нужна для удобства.
44 - 51 Делаем проверку подключения к локальному серверу баз данных clickhouse. Если подключение не выполнено, завершаем работу скрипта.
53 - 63 Пытаемся подключиться к серверу-источнику clickhouse. Выдаем ошибку и завершаем работу, если данное подключение не вернуло корректный код.
65 - 70 Проверяем, есть ли база данных, которую мы передали аргументом -d на сервере-источнике.
72 На сервере-целе создаем базу данных, если ее нет.
74 - 79 Создаем таблицы на целевом сервере. Для этого мы подключаемся к серверу-источнику и получаем список таблиц, после в цикле для каждой таблицы получаем запрос на ее создание и немного его модифицируем, добавив IF NOT EXISTS и ON CLUSTER, чтобы создать таблицы не на конкретном хосте, а на всех нодах кластера.
81 - 100 Получаем список таблиц типа Distributed и копируем данные с сервера-источника с помощью запроса INSERT INTO + SELECT * FROM remote.
83 Обратите внимание, что в данной строке мы делаем проверку таблицы на сервере-целе. Если по каким-то причинам там есть данные, сценарий предложит пропустить импорт информации.

Запуск скрипта

Прежде чем начать перенос, стоит убедиться в сетевой доступности серверов Clickhouse. На одной из нод кластера, куда мы будем импортировать данные вводим:

clickhouse-client -h db_host --port db_port -u db_user --ask-password

* где:

  • db_host — адрес сервера, к которому мы будем подключаться. Это должен быть сервер-источник данных.
  • db_port — порт подключения. По умолчанию 9000.
  • db_user — имя пользователя, под которым мы будем подключаться к хосту db_host.

Система запроси пароль. Необходимо ввести секрет для пользователя db_user. Если подключение прошло успешно, можно переходить к переносу данных.

Разрешим запуск скрипта на выполнение:

chmod +x /scripts/clickhouse-import-data.sh

При запуске сценария нам нужно передать следующие аргументы:

  • d — имя базы данных, к которой мы подключимся для импорта информации.
  • h — адрес сервера-источника, куда нужно подключиться.
  • p — порт, на котором слушает clickhouse на сервере-источнике. Если не указать, будет использоваться порт по умолчанию 9000.
  • u — учетная запись пользователя, под которым мы будем подключаться к серверу-источнику.
  • c — имя кластера clickhouse, для которого будут выполняться действия.

Например:

/scripts/clickhouse-import-data.sh -d portal_db -h 192.168.1.10 -u click_usr -c dm_cluster -p 9000

* в данном примере мы будем подключаться к базе portal_db на сервере 192.168.1.10 под пользователем click_usr. Имя кластера dm_cluster, а порт подключения 9000.

В консоли мы должны увидеть запрос пароля для подключения (пользователя click_usr, в нашем примере). Вводим его.

Должна начаться процедура копирования таблиц, а после — самих данных. В зависимости от объема, скрипт может работать долго.

Проверка импорта данных

Даже, завершение работы скрипта по переносу данных не является окончанием процесса импорта. Дело в том, что кластер заносит данные на keeper, после чего последний занимается перераспределением информации между его нодами. Чтобы понять, когда процесс завершился, можно сравнивать количество строк на целевом сервере и сервере-источнике.

Для удобства, предлагаю небольшой скрипт. Сохраним его по тому же пути, где и скрипт импорта:

vi /scripts/clickhouse-import-check.sh

  1. #!/bin/bash
  2. PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin
  3.  
  4. while getopts :d::h::p::u::c: arg
  5. do
  6.   case ${arg} in
  7.     d)
  8.       db="${OPTARG}"
  9.       ;;
  10.     h)
  11.       db_host="${OPTARG}"
  12.       ;;
  13.     p)
  14.       db_port="${OPTARG}"
  15.       ;;
  16.     u)
  17.       db_user="${OPTARG}"
  18.       ;;
  19.     :)
  20.       echo -e "\033[0;31mОшибка: для опции -${OPTARG} требуется значение.\033[0m"
  21.       exit 1
  22.       ;;
  23.     *) exit 1
  24.   esac
  25. done
  26.  
  27. for table in `clickhouse-client -q "SELECT name FROM system.tables WHERE database='${db}' AND engine='Distributed'"`
  28. do
  29.   source_count=`clickhouse-client ${remote_connect_args} -q "SELECT COUNT(*) FROM ${db}.${table}"`
  30.   target_count=`clickhouse-client -q "SELECT COUNT(*) FROM ${db}.${table}"`
  31.  
  32.   if [ ${source_count} -eq ${target_count} ]
  33.   then
  34.     color="\033[0;32m"
  35.   else
  36.     color="\033[0;31m"
  37.   fi
  38.  
  39.   echo -e "\nПроверка таблицы ${table}:"
  40.   echo -e "Строк в источнике: ${color}${source_count}\033[0m"
  41.   echo -e "Строк в сервере назначения: ${color}${target_count}\033[0m"
  42. done

Также разрешим запуск скрипта на выполнение:

chmod +x /scripts/clickhouse-import-check.sh

При запуске сценария нам нужно передать аргументы:

  • d — имя базы данных, к которой мы подключимся для импорта информации.
  • h — адрес сервера-источника, куда нужно подключиться.
  • p — порт, на котором слушает clickhouse на сервере-источнике. Если не указать, будет использоваться порт по умолчанию 9000.
  • u — учетная запись пользователя, под которым мы будем подключаться к серверу-источнику.

В нашем примере это:

/scripts/clickhouse-import-check.sh -d portal_db -h 192.168.1.10 -u click_usr -p 9000

Потребуется ввести пароль пользователя для подключения к базе данных.

В результате мы получим информацию по количеству строк. Оно должно совпадать для новой и старой баз.

Важно отметить, что кластер Clickhouse помещает данные в очередь, и окончательное копирование данных в базу назначения выполняется не сразу. Таким образом, запустив проверку мы можем увидеть несоответствие количества строк для множества таблиц. Такая ситуация является допустимой. Необходимо раз в 10 или более минут делать повторные проверки. Миграция данных может считаться законченной, когда все таблицы будут совпадать по количеству строк.

Читайте также

Другие инструкции, которые могут оказаться полезными:

1. Установка и использование ClickHouse на Linux.

2. Операторы сравнения в UNIX shell.

# DevOps # Linux # Базы данных # Резервное копирование # Серверы
Дмитрий Моск — частный мастер
Был ли вам полезен этот скрипт?

Да            Нет