Внешняя таблица

Содержание раздела
  1. Внешняя таблица загрузки
  2. Внешняя таблица выгрузки
  3. Рекомендации по разделению данных по топикам Kafka
  4. Внешняя writable-таблица
  5. Внешняя readable-таблица

Внешняя таблица — специальная сущность, которая ссылается на внешний источник или приемник данных и не хранит сами данные. Источниками и приемниками данных могут быть:

Доступны следующие виды внешних таблиц:

На рисунке ниже показаны связи внешних таблиц с источниками и приемниками данных.

Внешние таблицы и их связи с источниками и приемниками данных

Внешние таблицы можно создавать и удалять. Подробнее об управлении внешними таблицами см. в разделе Управление схемой данных.

Внешняя таблица загрузки

Внешняя таблица загрузки позволяет загружать данные из топика Kafka в систему: в логическую таблицу или внешнюю writable-таблицу.

Внешняя таблица загрузки определяет следующие параметры загрузки:

  • список загружаемых полей,
  • путь к топику Kafka,
  • формат обмена данными,
  • дополнительные параметры.

Внешняя таблица выгрузки

Внешняя таблица выгрузки позволяет выгружать данные из системы в топик Kafka.

С помощью внешней таблицы выгрузки можно выгружать результаты определенного SELECT-подзапроса. Такой подзапрос может обращаться к отдельным сущностям и их соединениям: логическим таблицам, логическим и материализованным представлениям, standalone-таблицам.

Внешняя таблица выгрузки определяет следующие параметры выгрузки:

Рекомендации по разделению данных по топикам Kafka

Потоки обмена данными с системой через топики Kafka должны быть разделены по топикам в следующих разрезах:

  • по таблицам, куда загружаются данные,
  • по направлениям потоков данных (загрузка/выгрузка),
  • (опционально) по дополнительным признакам, например по внешним информационным системам.

Например, если для логической таблицы нужно поддержать загрузку и выгрузку данных, для нее следует создать хотя бы по одной таблице загрузки и выгрузки.

Внешняя writable-таблица

Внешняя writable-таблица позволяет записывать данные в standalone-таблицу с помощью функций загрузки и обновления данных.

Внешняя writable-таблица определяет следующие параметры записи:

  • список записываемых полей,
  • путь к standalone-таблице,
  • дополнительные параметры.

Внешняя readable-таблица

Внешняя readable-таблица позволяет читать данные из standalone-таблицы с помощью функций чтения и выгрузки данных.

Внешняя readable-таблица определяет следующие параметры чтения:

  • список считываемых полей,
  • путь к standalone-таблице,
  • дополнительные параметры.