Загрузка данных

Загрузка данных — параллельная запись данных в систему из внешнего источника данных (топика Kafka). Функция предназначена для записи большого объема данных: от сотен до миллионов строк.

Загрузить данные можно с помощью запроса INSERT SELECT FROM external_table.

Подробнее о действиях по загрузке данных см. в разделе Как загрузить данные.

Консьюмер-группы Kafka

Данные загружаются из Kafka в датасорсы с помощью коннекторов, каждый из которых использует свою консьюмер-группу.

Каждый коннектор читает данные с последнего смещения (офсета) своей группы и обновляет его по ходу загрузки. При сбое и откате операций записи смещение не откатывается — оно остается на значении, прочитанном к моменту сбоя.

Для коннекторов одного типа используйте разные имена консьюмер-групп, чтобы избежать конкуренции за топик и нестабильной загрузки.