Внешняя таблица
Содержание раздела
Внешняя таблица — специальная сущность, которая ссылается на внешний источник или приемник данных и не хранит сами данные. Источниками и приемниками данных могут быть:
- топики Kafka,
- standalone-таблицы.
Доступны следующие виды внешних таблиц:
- внешняя таблица загрузки,
- внешняя таблица выгрузки,
- внешняя writable-таблица,
- внешняя readable-таблица.
На рисунке ниже показаны связи внешних таблиц с источниками и приемниками данных.
Внешние таблицы можно создавать и удалять. Подробнее об управлении внешними таблицами см. в разделе Управление схемой данных.
По умолчанию система ведет статистику обработки запросов к данным логических сущностей. Статистика доступна для внешних readable- и writable-таблиц. Чтобы получить статистику, выполните GET_ENTITY_STATISTICS.
Внешняя таблица загрузки
Внешняя таблица загрузки позволяет загружать данные из топика Kafka в систему: в логическую таблицу или внешнюю writable-таблицу.
Внешняя таблица загрузки определяет следующие параметры загрузки:
- список загружаемых полей,
- путь к топику Kafka,
- формат обмена данными,
- дополнительные параметры.
Рекомендации по разделению потоков данных на топики Kafka см. в разделе Рекомендации по топикам Kafka.
Внешняя таблица выгрузки
Внешняя таблица выгрузки позволяет выгружать данные из системы в топик Kafka.
С помощью внешней таблицы выгрузки можно выгружать результаты определенного SELECT-подзапроса. Такой подзапрос может обращаться к отдельным сущностям и их соединениям: логическим таблицам, логическим и материализованным представлениям, standalone-таблицам.
Внешняя таблица выгрузки определяет следующие параметры выгрузки:
- список выгружаемых полей,
- путь к топику Kafka,
- формат обмена данными.
Рекомендации по разделению потоков данных на топики Kafka см. в разделе Рекомендации по топикам Kafka.
Внешняя writable-таблица
Внешняя writable-таблица позволяет записывать данные в standalone-таблицу с помощью функций загрузки и обновления данных.
Внешняя writable-таблица определяет следующие параметры записи:
- список записываемых полей,
- путь к standalone-таблице,
- дополнительные параметры.
Внешняя readable-таблица
Внешняя readable-таблица позволяет обращаться к данным внешнего источника — standalone-таблицы или топика Kafka.
Внешняя readable-таблица определяет следующие параметры:
- список считываемых полей,
- путь к standalone-таблице или к топику Kafka,
- формат загружаемых данных (только для таблицы, связанной с топиком Kafka),
- дополнительные параметры.
Загрузка данных из топика Kafka с помощью readable-таблицы возможна только в датасорсы типа ADP и только при наличии установленного коннектора Kafka Jet writer. Для загрузки данных в датасорсы любых типов используйте внешние таблицы загрузки.