java - java如何使用配置单元支持( 失败"配置器类创建SparkSession没有找到")?

  显示原文与译文双语对照的内容
150 0

当我尝试运行这里代码时,会出现这里错误。


import org.apache.spark.sql.Dataset;


import org.apache.spark.sql.Row;


import org.apache.spark.sql.SparkSession;


public class App 


{


 public static void main(String[] args) throws Exception {


 String warehouseLocation ="file:" + System.getProperty("user.dir") +"spark-warehouse";


 SparkSession spark = SparkSession


. builder().master("local")


. appName("Java Spark Hive Example")


. config("spark.sql.warehouse.dir", warehouseLocation).enableHiveSupport()


. getOrCreate();



 String path ="/home/cloudera/Downloads/NetBeansProjects/sparksql1/src/test/Employee.json";



 spark.sql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)");


 spark.sql("LOAD DATA LOCAL INPATH '"+path+"' INTO TABLE src");



//load from HDFS



 Dataset<Row> df = spark.read().json(path);



 df.registerTempTable("temp_table");



 spark.sql("create table TEST.employee as select * from temp_table");



 df.printSchema();


 df.show();



 }


}



输出:

线程"主要" java.lang. IllegalArgumentException中的异常: 无法用配置单元支持实例化 SparkSession,因为找不到配置单元类。 sparksession$builder 。sql 。enablehivesupport ( sparksession 。scala: 778 ) 在 com.training.hivetest.App.main(App.java:21 ) 中

如何才能解决?

时间: 原作者:

...