Spark SQL 操作Apache Hudi

1. 添加jar包到spark的jar目录下

https://repo1.maven.org/maven2/org/apache/hudi/hudi-spark3.1.2-bundle_2.12/0.10.1/hudi-spark3.1.2-bundle_2.12-0.10.1.jar
https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/3.1.2/spark-avro_2.12-3.1.2.jar

2. 重启spark集群

./stop-all.sh
./start-all.sh

3. 进入spark sql客户端

./spark-sql \
--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
--conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension'

4. 创建表

-- create a cow ta
上一篇:【元宵节快乐】Apache ShardingSphere 企业行|走进陌陌


下一篇:使用Wordpress创建基于MySQL的教育网站(学习笔记2)(技术笔记1)Xampp error1045 解决方案