У нас есть файлы, секционированные в datalake, и мы используем пул Azure Synapse SQL Serverless для запроса к ним с помощью внешних таблиц перед визуализацией в Power BI.
Файлы хранятся в следующем формате разделов {source}/{year}/{month}/{filename}_{date}.parquet
Затем у нас есть внешняя таблица, которая загружает все файлы для этого источника.
Для всех файлов, которые увеличиваются каждый день, это отлично работает, поскольку мы хотим, чтобы все файлы были включены. Однако у нас есть некоторые интеграции, и мы хотим вернуть только последний файл. (т.е. последний отправленный нам файл - это текущее состояние, которое мы хотим загрузить в Power BI).
Можно ли в операторе внешней таблицы вернуть только последний файл? Или нужно добавить дополнительную логику? Мы можем загрузить все файлы, а затем отфильтровать последнее имя файла и сохранить его в новом месте. В качестве альтернативы мы могли бы попробовать создать внешнюю таблицу, которая меняется каждый день.
Есть ли лучший способ подойти к этому?
