Загрузка данных

Загрузка данных — параллельная запись данных в систему из внешнего источника данных (топика Kafka). Функция предназначена для записи большого объема данных: от сотен до миллионов строк.

Загрузить данные можно с помощью запроса INSERT SELECT FROM external_table.

Подробнее о действиях по загрузке данных см. в разделе Как загрузить данные.

Консьюмер-группы Kafka

Данные загружаются в целевые датасорсы с помощью коннекторов. Каждый коннектор считывает данные из топика Kafka, используя свою консьюмер-группу, и фиксирует прочитанное смещение (офсет) для этой консьюмер-группы в топике.

Имена коньюмер-групп для датасорсов одного типа должны отличаться, иначе коннекторы будут конкурировать за доступ к топику и данные будут загружаться то в один датасорс, то в другой.