Загрузка данных

Загрузка данных — параллельная запись данных в систему из внешнего источника данных (топика Kafka). Функция предназначена для записи большого объема данных: от сотен до миллионов строк.

Данные загружаются из Kafka в датасорсы с помощью коннекторов, каждый из которых использует свою консьюмер-группу.

Каждый коннектор читает данные с последнего смещения (офсета) своей группы и обновляет его по ходу загрузки. При сбое и откате операций записи смещение не откатывается — оно остается на значении, прочитанном к моменту сбоя.

Для коннекторов одного типа используйте разные имена консьюмер-групп, чтобы избежать конкуренции за топик и нестабильной загрузки.

О действиях по загрузке данных см. в разделе Работа с системой > Загрузка данных.