报错:is not a valid DFS filename

java.lang.IllegalArgumentException: Pathname /E:/data/hello.txt from hdfs://ns1/E:/data/hello.txt is not a valid DFS filename
原因就在于,已经在classpath下面加载了hdfs-site.xml和core-site.xml的配置文件,则会自动理解输入的文件路径为hdfs的,自然会报错。所以,在此情况下还想加载本地文件,那么就告诉机器以本地文件的格式或者协议读取即可
把/E:/data/hello.txt加上file:格式
val linesRDD:RDD[String] = sc.textFile(“file:/E:/data/hello.txt”)

上一篇:springBoot 使用 @NotEmpty,@NotBlank,@NotNull 及@Valid注解校验请求参数


下一篇:【操作系统】第九章