Порядок обработки запросов на загрузку данных

Запрос на загрузку данных в логическую таблицу обрабатывается в следующем порядке:

  1. Внешняя информационная система формирует запрос INSERT INTO logical_table, используя JDBC-драйвер DTM.
  2. Запрос поступает в сервис исполнения запросов DTM.
  3. Сервис исполнения запросов анализирует запрос и сохраняет информацию о процессе загрузки данных в сервисной базе данных.
  4. Сервис исполнения запросов отправляет в коннектор каждой из целевых СУБД хранилища команду на загрузку данных и отслеживает состояние загрузки с помощью сервиса мониторинга статусов Kafka. Под целевыми подразумеваются СУБД, в которых размещаются данные логической таблицы (см. CREATE TABLE).
  5. Коннектор загружает данные из топика Kafka, который определен в свойствах внешней таблицы загрузки, указанной в запросе.
  6. По завершении загрузки всех или каждого пакета данных (в зависимости от типа СУБД) сервис исполнения запросов отправляет в целевые СУБД команду на выполнение задач по версионированию данных.
  7. После успешного выполнения загрузки данных JDBC-драйвер возвращает синхронный ответ во внешнюю информационную систему.

Подробнее о компонентах системы см. в разделе Компоненты системы, обо всех внешних связях системы см. в разделе Связи с другими системами и компонентами.