Retention-правила

Содержание раздела
  1. Поддерживаемые сущности
  2. Стратегии обработки данных
    1. Остужение данных
    2. Удаление данных и метаинформации
  3. Порядок исполнения правил

Retention-правила позволяют оптимизировать использование хранилища, сохраняя нужную глубину истории данных.

Retention-правило определяет, как долго хранятся исторические записи логической сущности в датасорсе и метаинформация в tslog-журнале, а также как они обрабатываются после истечения этого срока.

Система периодически проверяет и исполняет настроенные retention-правила. Если правила не настроены, система хранит всю историю данных бессрочно.

Подробнее о настройке retention-правил см. в разделе Управление retention-правилами.

Поддерживаемые сущности

Retention-правила доступны для логических таблиц (всех видов) и снапшот-таблиц.

Правило, настроенное для партиционированной таблицы, не действует для ее партиций. Так как партиционированные таблицы не хранят данные, настраивать retention-правила для них стоит, только если нужна периодическая подрезка их tslog-журналов (например, при частых вставках в таблицы).

Стратегии обработки данных

Возможные стратегии обработки данных по retention-правилу:

Остужение данных

Остужение данных — перемещение исторических записей из датасорса таблицы в датасорс, выбранный для хранения холодных данных. Эта стратегия оптимизирует хранение редко запрашиваемых старых данных, сохраняя их доступность, и поддерживается только для логических таблиц.

Остужение данных возможно:

  • внутри одного ADB- или ADP-датасорса;
  • между разными ADB-датасорсами;
  • между разными ADP-датасорсами.

Схема остужения данных

Удаление данных и метаинформации

Удаление данных — окончательное удаление исторических записей таблицы (для снапшот-таблиц — информации об удаленных записях) из датасорса и связанной метаинформации из tslog-журнала. Эта стратегия освобождает дисковое пространство от старых данных и доступна для логических и снапшот-таблиц.

Метаинформация удаляется за тот же срок, что и данные, и только при условиях:

  • все датасорсы таблицы имеют retention-правила, настроенные на удаление данных;
  • соответствующие данные уже удалены из всех датасорсов таблицы.

Метаинформацию из tslog-журнала также можно удалить запросом TRUNCATE TSLOG.

Порядок исполнения правил

Лидер кластера периодически проверяет необходимость исполнения retention-правил окружения. Проверки выполняются с интервалом DATA_COOLING_RUN_PERIOD_MS (по умолчанию — через 10 минут).

Retention-правило исполняется при условиях:

  • в таблице есть исторические записи, хранящиеся дольше заданного срока;
  • все датасорсы таблицы включены.

Максимальное количество таблиц, обрабатываемых одновременно, равно DATA_COOLING_CONCURRENT (по умолчанию — 2).