Импорт из брокера сообщений Kafka

Компонент используется для импорта данных из кластера Kafka.

Порты

Входные порты

  • Порт подключений Подключение — принимает параметры подключения к кластеру Kafka;
  •  Управляющие переменные — (необязательный порт) переменными можно задать значения параметров мастера настройки.

    Выходные порты

  •  Набор данных — таблица с импортированными данными.

    Мастер настройки

    Мастер настройки содержит следующие параметры:
  • Подключение — отображает статус подключения к источнику данных. Недоступен для редактирования.
  • Топик — название темы, объединяющее сообщения одной тематики, на которую подписан консьюмер.
  • ID группы (group.id) — уникальная строка, идентифицирующая группу консьюмеров, в рамках которой доставляется один экземпляр сообщения.
  • ID клиента (client.id) — строка идентификатора консьюмера, предназначенная для передачи данных кластеру Kafka при выполнении запросов.
  • Тип смещения — параметр, позволяющий выбрать положение записи в разделе топика:
    • Без указания смещения — параметр по умолчанию.
    • С начала очереди партиций — смещение относительно начала очереди партиций.
    • С текущего смещения — импорт начнется со смещения, сохранённого в партиции.
    • Номер смещения — абсолютное смещение по указанному номеру сообщения.
    • Смещение относительно конца — смещение относительно конца очереди партиций.

      Примечание: смещения хранятся в топиках Kafka.

  • Время ожидания сообщения (мс) — максимальное время, за которое будет выполняться запрос одного сообщения.
  • Максимальное количество сообщений — при получении максимального количества сообщений импорт будет остановлен.
  • Дополнительная конфигурация Consumer — коллекция из параметров Kafka в виде: Параметр — Значение.

Смотри также: