Потоковое чтение данных
Содержание раздела
Потоковое чтение данных (чтение данных порциями) — чтение данных порциями заданного размера с помощью курсора СУБД. Потоковое чтение позволяет вычитывать большие объемы данных без брокера сообщений Kafka, не переполняя оперативную память ноды Prostore.
При потоковом чтении данные выбираются из датасорса по состоянию на момент получения запроса и возвращаются внешней системе порциями заданного размера. Порции данных возвращаются последовательно с той скоростью, с которой внешняя система (клиент) вычитывает данные, до наступления первого из событий:
- все запрошенные данные возвращены внешней системе;
- истекло максимальное время исполнения запроса, указанное в запросе;
- внешняя система закрыла соединение.
Доступные СУБД и интерфейсы
Потоковое чтение данных возможно из СУБД ADB и ADP при следующих вариантах подключения:
- программное JDBC-подключение,
- HTTP-подключение по протоколу HTTP/2 с использованием метода query.
Параметры потокового чтения данных
Для запроса на потоковое чтение необходимо задать максимальный размер порции данных, возвращаемой в одном ответе, а также можно указать дополнительные параметры чтения:
- максимальное количество строк, возвращаемых по запросу с учетом всех порций данных;
- максимальное время исполнения запроса с учетом всех порций данных.
Подробнее о том, как задать параметры потокового чтения данных для запроса, см. в разделах Программное JDBC-подключение (если обращение к системе происходит по JDBC) и query (если обращение к системе происходит по HTTP).