Причины ошибок при загрузке и обновлении данных

Раздел описывает причины основных ошибок, возникающих во время вставки данных — загрузки и обновления данных.

При загрузке и обновлении данных в standalone-таблицах также могут возникать ошибки, связанные с ограничениями конкретной СУБД. При разборе таких ошибок следуйте рекомендациям, доступным в документации соответствующей СУБД.

Если ошибка возникает во время вставки данных в логические таблицы, система отменяет операции записи, которые не удалось успешно завершить, и возвращает данные в состояние, предшествовавшее этим операциям. При ошибках вставки данных в standalone-таблицах изменения не отменяются автоматически, и их нужно отменять вручную в соответствующем датасорсе.

Способы управления операциями записи см. в разделе Управление операциями записи.

Основные причины ошибок при загрузке данных

  • Некорректная схема или записи Avro в сообщениях топика Kafka.
  • Несоответствие порядка, количества или типа полей между сообщениями Kafka, таблицей-приемником данных или внешней таблицей загрузки (кроме поля sys_op, которое должно присутствовать в сообщениях Kafka, загружаемых в логические таблицы, но должно отсутствовать в таблицах).
  • Некорректный путь к топику Kafka в свойствах внешней таблицы загрузки.
  • Недостаточная продолжительность одного или нескольких интервалов ожидания, которые заданы в конфигурации системы и используются при работе с брокером сообщений Kafka.
  • Некорректные настройки сервиса мониторинга статусов Kafka в конфигурации системы.
  • Расхождения времени между серверами инсталляции.
  • Некорректная установка коннектора, предназначенного для загрузки данных.

Интервалы ожидания при работе с брокером сообщений Kafka настраиваются с помощью параметров конфигурации EDML_FIRST_OFFSET_TIMEOUT_MS и EDML_CHANGE_OFFSET_TIMEOUT_MS, а также параметра ADB_MPPW_FDW_TIMEOUT_MS, который используется только для СУБД ADB.

Основные причины ошибок при обновлении данных

  • Несоответствие порядка, количества или типов столбцов между таблицей-приемником данных и запросом на обновление данных.
  • Отсутствие в запросе INSERT VALUES, INSERT SELECT или UPSERT VALUES значений обязательных столбцов таблицы-приемника данных.
  • Указание в запросе INSERT SELECT датасорсов с СУБД тех типов, для которых недоступна вставка данных.