Я сказал, что использую AWS Glue для чтения данных с использованием каталога данных и GlueContext и преобразования в соответствии с требованиями.
val spark: SparkContext = new SparkContext()
val glueContext: GlueContext = new GlueContext(spark)
val sparkSession = glueContext.getSparkSession
// Data Catalog: database and table name
val dbName = "abcdb"
val tblName = "xyzdt_2017_12_05"
// S3 location for output
val outputDir = "s3://output/directory/abc"
// Read data into a DynamicFrame using the Data Catalog metadata
val stGBDyf = glueContext.getCatalogSource(database = dbName, tableName = tblName).getDynamicFrame()
val revisedDF = stGBDyf.toDf() // This line getting error
При выполнении вышеуказанного кода я получил следующую ошибку,
Ошибка: синтаксическая ошибка: ошибка: значение toDf не является членом com.amazonaws.services.glue.DynamicFrame val пересмотреноDF = stGBDyf.toDf() обнаружена одна ошибка.
Я следовал этому примеру, чтобы преобразовать DynamicFrame в Искра dataFrame. Подскажите, пожалуйста, как лучше решить эту проблему
