Внешняя таблица
Внешняя таблица задает набор параметров внешнего приемника данных (например, топика Kafka), используемого для параллельной загрузки или выгрузки данных. Набор включает следующие параметры:
- список передаваемых полей,
- путь к внешнему приемнику данных,
- формат обмена данными.
Внешняя таблица представляет собой декларацию источника/приемника данных и формата загрузки/выгрузки данных и не хранит сами данные.
Внешние таблицы разделяются по назначению:
- внешние таблицы загрузки используются для загрузки данных в систему,
- внешние таблицы выгрузки используются для выгрузки данных из системы.
Внешние таблицы можно создавать и удалять:
- создание внешней таблицы загрузки,
- создание внешней таблицы выгрузки,
- удаление внешней таблицы загрузки,
- удаление внешней таблицы выгрузки.
В зависимости от требований проекта созданная внешняя таблица может использоваться однократно или многократно. Следует учитывать, что потоки обмена данными с системой должны быть разделены по приемникам данных в следующих разрезах:
- по логическим таблицам,
- по направлениям передачи данных (загрузка/выгрузка),
- (опционально) на основе каких-либо дополнительных критериев (например, по целевым информационным системам).
Например, если для логической таблицы транзакций нужно поддержать и загрузку, и выгрузку данных, следует создать две (или более) внешние таблицы: хотя бы одну таблицу загрузки транзакций и хотя бы одну — выгрузки.