Какое время должна занимать автоматическая загрузка/обновление данных из PostgreSQL в Dremio при отсутствии Reflection в настройках подключения? Сейчас наблюдаем лаг примерно в 20 минут с момента появления данных на витринах до момента обновления датасета в Dremio. Это нормально?
Александр, здравствуйте!
Да это нормально, нужно некоторое время, чтобы Dremio подтянула данные из PostgreSQL.
Но есть лайфхак, чтобы затащить данные по запросу.
Для этого Вам нужно перейти в SQL Runner и написать запрос:
Alter table [tablename] refresh metadata
где [tablename] - полный путь к датасету в PostgreSQL
Можно ли этот лайфхак использовать с помощью API Dremio и к какому методу тогда обращаться?
Да, есть API подключение извне к Dremio. У нас был кейс реализации с помощью Apache Nifi по расписанию обновлял рефлекшены и метаданные датасетов. Можно использовать его или же, например, Python скрипт.
Подскажите, пожалуйста, как назывался api метод, для работы с дремио, какой метод смотреть в документации?
Для работы с Reflections можно оттолкнуться с данного документа:
Там же есть описания методов по другим задачам
