如何在Databricks中创建SQL表

avatar
作者
猴君
阅读量:0

在Databricks中创建SQL表,您需要遵循以下步骤:

  1. 首先,确保您已经设置了Databricks环境并运行了一个Spark集群。
  2. 打开Databricks工作区,然后创建一个新的Notebook。
  3. 在Notebook中,选择一个语言(例如Python、Scala或R)。
  4. 使用以下代码示例创建一个SQL表。这里我们使用Python和PySpark API:
from pyspark.sql import SparkSession  # 创建一个Spark会话 spark = SparkSession.builder \     .appName("Create SQL Table in Databricks") \     .getOrCreate()  # 创建一个DataFrame data = [("Alice", 1), ("Bob", 2), ("Cathy", 3)] columns = ["name", "id"] df = spark.createDataFrame(data, columns)  # 将DataFrame注册为临时表 df.createOrReplaceTempView("people")  # 使用SQL查询创建一个新表 spark.sql(""" CREATE TABLE IF NOT EXISTS people_table USING parquet OPTIONS ('compression'='snappy') AS SELECT * FROM people """)  # 显示新创建的表 spark.sql("SELECT * FROM people_table").show() 
  1. 运行Notebook中的所有单元格。这将创建一个名为people_table的SQL表,并使用people临时表中的数据填充它。
  2. 若要查看表结构和数据,可以运行以下命令:
spark.sql("DESCRIBE people_table").show() spark.sql("SELECT * FROM people_table").show() 

现在,您已经在Databricks中创建了一个SQL表。请根据需要修改代码示例以适应您的数据和需求。

广告一刻

为您即时展示最新活动产品广告消息,让您随时掌握产品活动新动态!