java - java如何使用配置单元支持( 失败"配置器类创建SparkSession没有找到")?

  显示原文与译文双语对照的内容
150 0

当我尝试运行这里代码时,会出现这里错误。

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;
public class App 
{
 public static void main(String[] args) throws Exception {
 String warehouseLocation ="file:" + System.getProperty("user.dir") +"spark-warehouse";
 SparkSession spark = SparkSession
. builder().master("local")
. appName("Java Spark Hive Example")
. config("spark.sql.warehouse.dir", warehouseLocation).enableHiveSupport()
. getOrCreate();
 String path ="/home/cloudera/Downloads/NetBeansProjects/sparksql1/src/test/Employee.json";
 spark.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)");
 spark.sql("LOAD DATA LOCAL INPATH '"+path+"' INTO TABLE src");
//load from HDFS
 Dataset<Row> df = spark.read().json(path);
 df.registerTempTable("temp_table");
 spark.sql("create table TEST.employee as select * from temp_table");
 df.printSchema();
 df.show();
 }
}

输出:

线程"主要" java.lang. IllegalArgumentException中的异常:无法用配置单元支持实例化 SparkSession,因为找不到配置单元类。sparksession$builder 。sql 。enablehivesupport ( sparksession 。scala: 778 ) 在 com.training.hivetest.App.main(App.java:21 ) 中

如何才能解决?

时间: 原作者:

...