Формат пути к топику Kafka

При создании внешних таблиц загрузки и выгрузки данных необходимо указать путь (URI-строку) к топику Kafka, который служит источником или приемником данных. URI-строка имеет единый формат для обоих типов внешних таблиц.

Доступны следующие способы указания пути к топику Kafka, расположенному на узлах кластера Zookeeper:

• полный путь к топику,
• путь к топику с использованием переменной, заданной в конфигурации системы.

Указание полного пути к топику

Чтобы указать полный путь к топику Kafka, задайте URI-строку в формате:

kafka://zkhost_1:port_1,zkhost_2:port_2,zkhost_3:port_3/chroot/path/topic_name

Где:

• zkhost_N (обязательный) — имя хоста или IP-адрес хоста Zookeeper, к которому подключен брокер сообщений Kafka;
• port_N (обязательный) — порт хоста Zookeeper, к которому подключен брокер сообщений Kafka. Должен соответствовать порту, заданному в конфигурации Zookeeper для подключения клиентов (по умолчанию — 2181);
• chroot/path — путь chroot к метаданным кластера Kafka. Следует использовать при наличии нескольких узлов Kafka в одном кластере Zookeeper;
• topic_name (обязательный) — имя топика Kafka.

Примеры

Имена нескольких хостов с непустым путем chroot (chroot_kafka):

kafka://zk1:2181,zk2:2181,zk3:2181/chroot_kafka/sales

IP-адрес одного хоста:

kafka://192.168.60.97:2181/chroot_kafka/sales

Указание пути к топику с использованием переменной

Чтобы указать путь к топику Kafka с использованием переменной конфигурации, задайте URI-строку в следующем формате:

kafka://$kafka/topic_name

Пример

Пример пути к топику sales:

kafka://$kafka/sales