Автоматическое обновление данных из PostgreSQL в Dremio

Какое время должна занимать автоматическая загрузка/обновление данных из PostgreSQL в Dremio при отсутствии Reflection в настройках подключения? Сейчас наблюдаем лаг примерно в 20 минут с момента появления данных на витринах до момента обновления датасета в Dremio. Это нормально?

Александр, здравствуйте!
Да это нормально, нужно некоторое время, чтобы Dremio подтянула данные из PostgreSQL.

Но есть лайфхак, чтобы затащить данные по запросу.
Для этого Вам нужно перейти в SQL Runner и написать запрос:
Alter table [tablename] refresh metadata
где [tablename] - полный путь к датасету в PostgreSQL

1 Like

Можно ли этот лайфхак использовать с помощью API Dremio и к какому методу тогда обращаться?

Да, есть API подключение извне к Dremio. У нас был кейс реализации с помощью Apache Nifi по расписанию обновлял рефлекшены и метаданные датасетов. Можно использовать его или же, например, Python скрипт.

Подскажите, пожалуйста, как назывался api метод, для работы с дремио, какой метод смотреть в документации?

Для работы с Reflections можно оттолкнуться с данного документа:

Там же есть описания методов по другим задачам