Прямые запросы из PostgreSQL к MongoDB

Используемые термины: PostgreSQL, MongoDB, Linux.

Отправка запросов из PostgreSQL к MongoDB может быть выполнена с помощью расширения mongo_fdw. В данной инструкции мы рассмотрим процесс его сборки, установки и использования на системе Linux.

Расширение mongo_fdw на момент обновления инструкции поддерживало PostgreSQL версий с 10 по 15. Мы рассмотрим процесс на примере версии 13, однако важно отметить, что набор команд от этого сильно не меняется.

Предполагается, что у нас уже установлены серверы с PostgreSQL и MongoDB. Ссылки на подробные инструкции, как это сделать будут приведены в конце инструкции. Сборку и установку расширения mongo_fdw мы будем выполнять на сервере с PostgreSQL, а MongoDB может быть установлен на том же сервере или на другом, к которому есть сетевой доступ.

Установка необходимых компонентов

Процесс сборки mongo_fdw включает несколько этапов, на каждом из которые потребуются свои программные компоненты. Рассмотрим их установку.

Пакеты

Для выполнения необходимых сборок нам нужно установить некоторые пакеты, состав которых для разных дистрибутивов Linux будет отличаться.

а) системы Deb:

б) системы RPM:

CMake

CMake является универсальной программой, которая читает в исходниках файл CMakeLists.txt и создает на его основе файлы сборки. Также его называют кроссплатформенным make.

Нам нужно, чтобы в системе был установлен CMake версии 3.1 или выше. В зависимости от ситуации, наши действия будут отличаться.

Установка из пакетов

Проще всего установить CMake, используя менеджер пакетов yum или apt.

а) на системах Deb:

* первая команда покажет, какой версии cmake будет установлен. Второй командой мы уже можем выполнить установку.

б) на системах RPM:

* менеджер пакетов покажет версию, которую будет устанавливать система. Если она соответствует требованиям, отвечаем y.

Сборка CMake

Если мы не можем установить из репозитория нужную версию пакета cmake, мы можем его собрать из исходников.

Установим необходимые для этого пакеты.

а) на системах Deb:

б) на системах RPM:

Переходим на страницу проекта CMake в гитхабе и копируем ссылку на последнюю стабильную версию архива (не rc):

Переходим в каталог для хранения исходников:

Используя скопированную ссылку, скачиваем данных архив:

Распакуем архив:

Переходим в распакованный каталог:

Выполняем подготовку исходников к сборке:

Выполняем сборку:

Выполняем установку:

Чтобы текущая оболочка пользователя подхватила новый путь до cmake, выполняем повторый ее запуск:

И посмотрим версию установленной cmake:

Если команда вернут ошибку bash: cmake: command not found, можно создать такой симлинк:

ln -s /usr/local/bin/cmake /usr/bin/cmake

В моем случае было:

Сборка mongo_fdw

Как говорилось выше, сборка расширения mongo_fdw будет разбита на несколько этапов:

1. Загрузка исходника.
2. Сборка mongo-c.
3. Сборка json-c.
4. Сборка mongo_fdw.

Рассмотрим их по-отдельности.

Загрузка исходников mongo_fdw

Сборка как mongo_fdw, так и дополнительных компонентов будет выполняться в каталоге с исходником нашего расширения. Поэтому сначала мы должны его загрузить.

Перейдем в специализированный для этого каталог:

Выполняем команду:

Переходим в каталог mongo_fdw:

Сборка mongo-c

Mongo-c представляет из себя набор библиотек для использования MongoDB из приложений C. Нам нужны эти библиотеки для сборки расширения.

Переходим на страницу проекта и копируем ссылку на архив mongo-c-driver.

Используя ссылку, скачиваем архив:

Распакуем его:

В каталоге расширения уже может быть папка mongo-c-driver — удаляем ее:

Переименуем каталог, созданный после распаковки в mongo-c-driver:

Переходим в него:

Выполняем конфигурирование драйвера mongo:

Задаем каталог установки:

* обратите внимание, что необходимые файлы и библиотеки будут установлены в каталог /usr.

Собираем файлы для установки:

Если мы получим ошибку ... error: ‘for’ loop initial declarations are only allowed in C99 mode, необходимо добавить опцию, использующую стандарт 99).

Выполняем установку:

Сборка json-c

Компонент json-c позволяет выполнять различные действия в языке C в формате JSON. Его также необходимо собрать для нашего расширения.

На странице со списком версий выбираем нужную или последнюю. Копируем ссылку для загрузки архива:

После установки mongo-c-driver мы должны остаться в каталоге с его исходниками. Выходим из нее:

Скачиваем архив по скопированной ссылке:

Распакуем его:

Переименуем каталог, созданный после распаковки в json-c:

Переходим в него:

Выполняем конфигурирование исходника:

Задаем префикс для установки пакета (в каталог /usr):

Собираем пакет и устанавливаем его:

Сборка mongo_fdw

Возвращаемся в каталог с исходниками нужного расширения:

Укажем с помощью системной переменной PKG_CONFIG_PATH путь до библиотек mongo-c-driver:

PostgreSQL может быть установлен в разные каталоги. Все зависит от его версии и типа дистрибутива Linux. Также PostgreSQL и Postgrespro могут использовать, принципиально, разные пути. Компилятору нужно знать, где искать приложение pg_config, которое идет в составе с PostgreSQL и выводит информацию по конфигурационным параметрам СУБД.

Для поиска приложения в нашей системе вводим команду:

В моем случае ответ был такой:

Таким образом, в каталоге /usr/pgsql-13/bin находится нужная нам программ. Указываем это с помощью системной переменной PATH:

Выполняем компиляцию расширения:

И установку.

Готово.

Проверка подключения к MongoDB

Предположим, что наш сервер MongoDB:

1. находится на узле с IP-адресом 192.168.0.15.
2. имеет коллекцию documents в базе users_db.
3. для подключения требует ввести логин user и пароль passwd.

На сервере с PostgreSQL подключаемся к командной оболочке sql:

Создаем расширение mongo_fdw:

Создаем привязку к серверу mongo — адрес 192.168.0.15, порт 27017:

* привязка будет иметь название mongo_server и использовать расширение mongo_fdw.

Задаем аутентификационные данные для подключения к привязке mongo_server, созданной выше:

* в нашем примере мы используем пользователя user с паролем passwd. В вашем случае это должны быть реальные данные для подключения к mongo.

Создаем внешнюю таблицу:

* в данном примере мы создаем внешнюю таблицу с названием mongotest. Она будет привязываться с таблице в mongo с названием users_db и коллекции documents.

Попробуем сделать запрос:

Если коллекция, к которой мы подключились не пустая, мы должны увидеть данные.

Возможные проблемы

Error: ‘for’ loop initial declarations are only allowed in C99 mode

Данную ошибку мы можем получить при билдовании mongo-c-driver.

Причина: в более новых версиях cmake используется код, учитывающий стандарт языка программирования C — C99. Нам необходимо добавить в опции компиляции строку, которая будет также учитывать данный стандарт.

Решение: находясь в каталоге с исходником открываем файл:

Добавляем в верх (после cmake_minimum_required):

Снова запускаем компиляцию.

Читайте также

Другие полезные материалы, связанные с данной инструкцией:

1. Установка и запуск PostgreSQL на Ubuntu.

2. Установка и запуск PostgreSQL на CentOS.

3. Установка и настройка MongoDB на Ubuntu.

4. Установка и настройка MongoDB на CentOS.