В одном из ваших источников данных (Dremio) вы часто используете вкладку Reflection - для чего она нужна?
В одном из ваших источников данных (Dremio) вы часто используете вкладку Reflection - для чего она нужна?
Dremio использует высокооптимизированные физические представления исходных данных, называемые отражениями данных (или паркетники). Reflection Store может находиться в HDFS, MapR-FS, облачном хранилище. Размер хранилища паркетников может превышать размер физической памяти. Эта архитектура позволяет Dremio ускорять больше данных с меньшими затратами, что приводит к гораздо более высокому коэффициенту попадания в кэш по сравнению с традиционными архитектурами, использующими только память. Паркетники автоматически используются оптимизатором на основе затрат во время запроса.
Паркетники невидимы для конечных пользователей. В отличие от кубов OLAP, таблиц агрегации и экстрактов BI, пользователь не подключается явно к паркетникам. Вместо этого пользователи отправляют запросы к логической модели, и оптимизатор Dremio автоматически ускоряет запрос, используя преимущества паркетных файлов, которые подходят для запроса.
Когда оптимизатор не может ускорить запрос, Dremio использует свой высокопроизводительный механизм распределенного выполнения, используя столбцовую обработку в памяти (через Apache Arrow) и расширенные функции загрузки в базовые источники данных (при работе с источниками RDBMS или NoSQL).
