构建一个由怡觎现喾Master+Slave构成的Spark集群,使Spark程序运行在集群中,且有Cluster与Client模式两种。主要区别在于:Driver程序的运行节点。
方法/步骤
1、1)进入spark安装目录下的conf文件夹
2、2)修改配置文件名称
3、3)修改slave文件,添加work节点:
4、4)修改spark-env.sh文件,添加如下配置:
5、5)分发spark包
6、6)启动
7、网页溽朽孑臾查看:hadoop102:8080注意:如果遇到“JAVA_HOMEnotset”异常,可以在sbin目录下的spark-config.sh文件中加入如下配置:
8、7)官方求PI
9、8)启动sparkshell
10、参数:--masterspark://hadoop102:7077指邈赕瑟遂定要连接的集群的master执行WordCount程序