Выгрузка данных

Содержание раздела
  1. Создание топика (опционально)
  2. Выгрузка данных в топик
  3. Примеры
    1. Выгрузка из логической таблицы
    2. Выгрузка из материализованного представления
    3. Выгрузка из прокси-таблицы
    4. Выгрузка из standalone-таблицы

Система позволяет выгружать большие объемы данных, а также изменений, выполненных в указанных дельтах или операциях записи. Данные можно выгружать из следующих сущностей и их соединений:

Под большим объемом данных подразумевается количество записей от нескольких сотен до нескольких миллионов. Чтобы получить небольшой объем данных, можно использовать запрос данных.

Данные выгружаются из следующего датасорса:

  • указанного в запросе на выгрузку или наиболее оптимального — если данные выгружаются из логических таблиц, логических и материализованных представлений;
  • содержащего целевую таблицу — если данные выгружаются из прокси-таблицы или standalone-таблицы, а также из соединения прокси-таблицы или standalone-таблицы с другими сущностями.

Создание топика (опционально)

Данные выгружаются из системы в виде сообщений топиков Kafka. Поэтому, если в брокере сообщений Kafka не настроено автоматическое создание топиков, создайте топики вручную.

Чтобы создать топик, следуйте любой из инструкций в документации Kafka:

Рекомендации о разделении данных по топикам см. в разделе Рекомендации по топикам Kafka.

Выгрузка данных в топик

Чтобы выгрузить данные из системы топик Kafka:

  1. Создайте внешнюю таблицу выгрузки, если она отсутствует.
  2. Выполните запрос INSERT INTO download_external_table:
    • чтобы выполнить запрос в синхронном режиме, отправьте его по JDBC или по REST API с помощью POST-метода query без параметра async (или с параметром async, имеющим значение false);
    • чтобы выполнить запрос в асинхронном режиме, отправьте его по REST API с помощью POST-метода query, где в теле сообщения укажите параметр async со значением true.

Подробнее об асинхронных запросах см. в разделе Асинхронные запросы и операции.

После выгрузки созданную внешнюю таблицу выгрузки можно использовать повторно или удалить.

Примеры

Выгрузка из логической таблицы 

-- выбор логической базы данных marketing в качестве базы данных по умолчанию
USE marketing;

-- создание внешней таблицы для выгрузки из логической таблицы sales
CREATE DOWNLOAD EXTERNAL TABLE sales_ext_download (
  id BIGINT,
  transaction_date TIMESTAMP,
  product_code VARCHAR(256),
  product_units BIGINT,
  store_id BIGINT,
  description VARCHAR(256)
)
LOCATION  'kafka://zk1:2181,zk2:2181,zk3:2181/sales_out'
FORMAT 'AVRO'
CHUNK_SIZE 1000;

-- запуск выгрузки данных из логической таблицы sales
INSERT INTO sales_ext_download 
SELECT * FROM sales WHERE product_units > 2 FOR SYSTEM_TIME AS OF DELTA_NUM 10;

Выгрузка из материализованного представления 

-- создание внешней таблицы для выгрузки из материализованного представления sales_by_stores
CREATE DOWNLOAD EXTERNAL TABLE sales_by_stores_ext_download (
store_id BIGINT,
product_code VARCHAR(256),
product_units INT
)
LOCATION 'kafka://$kafka/sales_by_stores_out'
FORMAT 'AVRO'
CHUNK_SIZE 1000;

-- запуск выгрузки данных из материализованного представления sales_by_stores
INSERT INTO sales_by_stores_ext_download
SELECT * FROM sales_by_stores WHERE product_code IN ('ABC0002', 'ABC0003', 'ABC0004') DATASOURCE_TYPE = 'adp2';

Выгрузка из прокси-таблицы 

-- создание внешней таблицы выгрузки
CREATE DOWNLOAD EXTERNAL TABLE marketing.payments_ext_download_from_proxy (
  id BIGINT,
  agreement_id BIGINT,
  code VARCHAR(16),
  amount DOUBLE,
  currency_code VARCHAR(3),
  description VARCHAR
)
LOCATION 'kafka://$kafka/payments_adp_out'
FORMAT 'AVRO'
CHUNK_SIZE 1000;

-- выгрузка данных из прокси-таблицы
INSERT INTO marketing.payments_ext_download_from_proxy
SELECT * 
FROM marketing.payments_proxy AS s 
WHERE id BETWEEN 100 AND 200 AND amount >= 1000 AND currency_code = 'RUB';

Выгрузка из standalone-таблицы 

-- создание внешней таблицы выгрузки
CREATE DOWNLOAD EXTERNAL TABLE marketing.payments_ext_download (
id BIGINT NOT NULL,
agreement_id BIGINT,
code VARCHAR(16),
amount DOUBLE,
currency_code VARCHAR(3),
description VARCHAR
)
LOCATION 'kafka://$kafka/payments_out'
FORMAT 'AVRO'
CHUNK_SIZE 1000;

-- запуск выгрузки данных из standalone-таблицы, на которую указывает внешняя readable-таблица payments_ext_read_adqm
INSERT INTO marketing.payments_ext_download
SELECT s.id, s.agreement_id, s.code, s.amount, s.currency_code, s.description
FROM marketing.payments_ext_read_adqm AS s
WHERE code = 'MONTH_FEE' AND agreement_id BETWEEN 100 AND 150;