Привет всем участникам нашего форума. Хочу поделиться процессом загрузки файлов с данными в Dremio и последующим подключением к этим данным через SDK в Insight.
1.Первый шаг - это загрузка файла из компьютера в Dremio. Для этого находясь в личном хранилище пользователя необходимо нажать на значок “Загрузить”.
Затем мы перетаскиваем файл с данными в появившееся окно, либо используем кнопку browse. Далее выбираем имя, с которым датасет будет загружен в систему и нажимаем кнопку “Next”.
В появившемся окне указываем формат файла. Это может быть файл с форматом json, parquet, csv, iceberg, delta lake или xls, как в нашем примере.
Ставим галочку если нам необходимо поднять первую строку в заголовок или развернуть ячейки, так же можем прописать название листа. После этого снова нажимаем “Next”.
Мы увидим что наш датасет загрузился в нашу личную папку и его иконка окрашена в фиолетовый цвет, что означает что это физический датасет.
2.Пока что мы не сможем подключить данный датасет к Insight через SDK. Для того чтобы увидеть этот датасет в SDK нам необходимо перенести его в любую папку в “Spaces”.
Для этого заходим в датасет и нажимаем в правом углу на иконку сохранения и выбираем Save as.
В появившемся окне выбираем любое место кроме личного репозитория. Вводим название нашего датасета и нажимаем “Save”
3.Готово, теперь чтобы подключиться к этому датасету в Dremio необходимо указать путь, по которому мы сохранили файл на шаге 2.