18143453325 在线咨询 在线咨询
18143453325 在线咨询
所在位置: 首页 > 营销资讯 > 建站知识 > spark启动报错:域名解析暂时失败

spark启动报错:域名解析暂时失败

时间:2023-02-22 10:33:01 | 来源:建站知识

时间:2023-02-22 10:33:01 来源:建站知识

spark启动报错:域名解析暂时失败:报错内容:

java.net.UnknownHostException: node1: node1: 域名解析暂时失败

at java.net.InetAddress.getLocalHost(InetAddress.java:1505)

at org.apache.spark.util.Utils$.findLocalInetAddress(Utils.scala:870)

使用spark计算PI是一个入门级程序,运行模式使用的是local模式,local模式是一种极其简单,不需要过多配置,因而经常被用来进行程序的测试,通过指定--master local[x]中的x可以使程序x线程运行,通过多线程模拟集群运行模式。

计算pi所使用的代码如下

spark-submit --master local[3] --class org.apache.spark.examples.SparkPi ./examples/jars/spark-examples_2.11-2.1.1.jar 100这里的master指定的是运行地址为本地,3线程运行模拟集群;主类为SparkPi,运行jar包所在位置为/examples/jars/spark-examples_2.11-2.1.1.jar,迭代100次计算Pi。

使用spark入门的第一步是解压安装,这里不再赘述。

然后执行上述命令发现报错

报上述错的主要原因是没有配置/etc/hosts文件,系统无法识别到本机hostname。

vim /etc/hostname192.168.0.x myhostname myhostname 修改后,重启spark就可以发现之前的报错消失了。

关键词:暂时,失败,启动

74
73
25
news

版权所有© 亿企邦 1997-2025 保留一切法律许可权利。

为了最佳展示效果,本站不支持IE9及以下版本的浏览器,建议您使用谷歌Chrome浏览器。 点击下载Chrome浏览器
关闭