Потоковое чтение данных
Содержание раздела
Потоковое чтение данных (чтение данных порциями) — чтение данных порциями заданного размера с помощью курсора СУБД. Потоковое чтение позволяет вычитывать большие объемы данных напрямую, не используя брокер Kafka.
При потоковом чтении данные выбираются из датасорса по состоянию на момент получения запроса и возвращаются внешней системе порциями заданного размера. Порции данных возвращаются последовательно с той скоростью, с которой внешняя система (клиент) вычитывает данные, до наступления первого из событий:
- все запрошенные данные возвращены внешней системе;
- истекло максимальное время исполнения запроса, указанное в запросе;
- внешняя система закрыла соединение.
Доступные СУБД и интерфейсы
Потоковое чтение данных возможно из СУБД ADB и ADP при следующих вариантах подключения:
- программное JDBC-подключение,
- HTTP-подключение по протоколу HTTP/2 с использованием метода query.
Параметры потокового чтения данных
Для запроса на потоковое чтение необходимо задать максимальный размер порции данных, возвращаемой в одном ответе, а также можно указать дополнительные параметры чтения:
- максимальное количество строк, возвращаемых по запросу с учетом всех порций данных;
- максимальное время исполнения запроса с учетом всех порций данных.
Подробнее о том, как задать параметры потокового чтения данных для запроса, см. в разделах Программное JDBC-подключение (если обращение к системе происходит по JDBC) и query (если обращение к системе происходит по HTTP).