Внешняя таблица

Содержание раздела
  1. Внешняя таблица загрузки
  2. Внешняя таблица выгрузки
  3. Внешняя writable-таблица
  4. Внешняя readable-таблица

Внешняя таблица — специальная сущность, которая ссылается на внешний источник или приемник данных и не хранит сами данные. Источниками и приемниками данных могут быть:

Доступны следующие виды внешних таблиц:

На рисунке ниже показаны связи внешних таблиц с источниками и приемниками данных.

Внешние таблицы и их связи с источниками и приемниками данных

Внешние таблицы можно создавать и удалять. Подробнее об управлении внешними таблицами см. в разделе Управление схемой данных.

По умолчанию система ведет статистику по логическим сущностям, которая доступна с помощью запроса GET_ENTITY_STATISTICS и GET-методов получения статистики. Среди всех внешних таблиц статистика доступна только для внешних readable- и writable-таблиц.

Внешняя таблица загрузки

Внешняя таблица загрузки позволяет загружать данные из топика Kafka в логическую сущность системы. Список типов сущностей, в которые можно загружать данные, см. в разделе INSERT SELECT FROM external_table.

Внешняя таблица загрузки определяет следующие параметры загрузки:

  • список загружаемых полей,
  • путь к топику Kafka,
  • формат обмена данными,
  • дополнительные параметры.

Рекомендации по разделению потоков данных на топики Kafka см. в разделе Рекомендации по топикам Kafka.

Внешняя таблица выгрузки

Внешняя таблица выгрузки позволяет выгружать данные из системы в топик Kafka.

С помощью внешней таблицы выгрузки можно выгружать результаты определенного SELECT-подзапроса. Такой подзапрос может обращаться к сущностям, перечисленным в разделе INSERT INTO download_external_table, и их соединениям.

Внешняя таблица выгрузки определяет следующие параметры выгрузки:

Рекомендации по разделению потоков данных на топики Kafka см. в разделе Рекомендации по топикам Kafka.

Внешняя writable-таблица

Внешняя writable-таблица позволяет записывать данные в standalone-таблицу с помощью функций загрузки и обновления данных.

Внешняя writable-таблица определяет следующие параметры записи:

  • список записываемых полей,
  • путь к standalone-таблице,
  • дополнительные параметры.

Внешняя readable-таблица

Внешняя readable-таблица позволяет обращаться к данным внешнего источника — standalone-таблицы или топика Kafka.

Внешняя readable-таблица определяет следующие параметры:

  • список считываемых полей,
  • путь к standalone-таблице или к топику Kafka,
  • формат загружаемых данных (только для таблицы, связанной с топиком Kafka),
  • дополнительные параметры.

Загрузка данных из топика Kafka с помощью readable-таблицы возможна только в датасорсы типа ADP и только при наличии установленного коннектора Kafka Jet writer. Для загрузки данных в датасорсы любых типов используйте внешние таблицы загрузки.