Как загрузить файл в Dremio

Привет всем участникам нашего форума. Хочу поделиться процессом загрузки файлов с данными в Dremio и последующим подключением к этим данным через SDK в Insight.

1.Первый шаг - это загрузка файла из компьютера в Dremio. Для этого находясь в личном хранилище пользователя необходимо нажать на значок “Загрузить”.

Затем мы перетаскиваем файл с данными в появившееся окно, либо используем кнопку browse. Далее выбираем имя, с которым датасет будет загружен в систему и нажимаем кнопку “Next”.

В появившемся окне указываем формат файла. Это может быть файл с форматом json, parquet, csv, iceberg, delta lake или xls, как в нашем примере.
Ставим галочку если нам необходимо поднять первую строку в заголовок или развернуть ячейки, так же можем прописать название листа. После этого снова нажимаем “Next”.

Мы увидим что наш датасет загрузился в нашу личную папку и его иконка окрашена в фиолетовый цвет, что означает что это физический датасет.

2.Пока что мы не сможем подключить данный датасет к Insight через SDK. Для того чтобы увидеть этот датасет в SDK нам необходимо перенести его в любую папку в “Spaces”.
Для этого заходим в датасет и нажимаем в правом углу на иконку сохранения и выбираем Save as.

В появившемся окне выбираем любое место кроме личного репозитория. Вводим название нашего датасета и нажимаем “Save”

3.Готово, теперь чтобы подключиться к этому датасету в Dremio необходимо указать путь, по которому мы сохранили файл на шаге 2.

1 Like

Более подробно показал на скринкасте: https://youtu.be/TC1KSv5fuDw

1 Like