У меня есть много файлов данных, которые в конечном итоге будут передаваться и храниться в Azure Storage/Data Lake через регулярные промежутки времени. Я хочу предоставить возможность выполнять аналитику этих данных, но потом вижу, что в Azure есть два подхода:
может ли кто-нибудь предложить мне, когда использовать какой из этих подходов? мне кажется, что оба могут выполнять одинаковую работу.
Вы можете думать об U-SQL как о версии Microsoft Spark SQL, где вы можете писать SQL в стиле SQL Server и расширять его с помощью определяемых пользователем функций на C#. В то время как со Spark вы пишете SQL в стиле Semi MySQL и расширяете его с помощью Scala или Python.
Если вы знакомы со Scala или Python, лучшим выбором будет HDInsight. Spark поставляется с GraphX и MLLib, которые на данный момент не имеют аналогов в Data Lake Analytics. Кроме того, если вам нужно что-то, что работает за пределами Azure, SparkSQL — ваш единственный вариант.
Еще один важный параметр, о котором стоит подумать, — это цена. Data Lake Analytics стоит денег только во время выполнения вашего запроса, но HDInsight стоит денег, пока работает кластер. В зависимости от размера данных и сложности ваших запросов Data Lake Analytics может быть дешевле, поскольку вы не платите за это во время подготовки.
