Pular para conteúdo

CreateOrReplaceTempView

CreateOrReplaceTempView

Uma das principais vantagens do Apache Spark é a capacidade de trabalhar com SQL juntamente com a API DataFrame/Dataset. Isso significa que, se você já estiver familiarizado com o SQL, poderá criar uma exibição temporária de um DataFrame/Dataset utilizando o método `createOrReplaceTempView()` e então usar SQL para selecionar e manipular os dados. Para persistir uma exibição temporária como uma tabela, você pode usar `saveAsTable()`.

Aqui está um exemplo de como usar o `createOrReplaceTempView()`:

df_dataset.createOrReplaceTempView("dataset")
df = spark.sql("select col_1, col2 from dataset")
df1.createOrReplaceTempView("df1")
df2.createOrReplaceTempView("df2")
df_email_enj = spark.sql('''
SELECT
*
FROM df1
LEFT JOIN df2 USING(column_key) ''')

Referências

Documentação Oficial do Spark
Tutorial SparkbyExamples