第一关 Scala语言开发环境的部署

? ? ? ? 1.下载解压

????????在Scala官网根据平台选择下载Scala的安装包scala-2.17.7.tgz????????

????????解压到/app目录下：

mkdir /app //创建 app 目录

cd /opt

tar -zxvf scala-2.12.7.tgz -C /app

educoder平台已经将解压包下载在/opt目录下了，就不需要再从网络下载了，只需要解压即可。?

? ? ? ? 2.配置环境

????????进入/etc/profile文件?

vim /etc/profile

? ? ? ? 在文件末尾加入如下代码：?

?#set scala SCALA_HOME=/app/scala-2.12.7 export PATH=$PATH:$SCALA_HOME/bin

? ? ? ? ?让刚才的配置生效：

source /etc/profile

? ? ? ? 3.校验

????????在命令行输入：scala -version，出现如下结果表示配置成功。

第二关?安装与配置Spark开发环境

? ? ? ? 1.下载解压安装包

????????从官网下载好安装包spark-2.2.2-bin-hadoop2.7.tgz

????????educoder平台已经将spark安装包下载到/opt目录下了，所以不需要再下载了。

????????将压缩包解压到/app目录下:

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app

? ? ? ? 2.配置环境变量

????????将spark的根目录配置到/etc/profile中（在文件末尾添加）。

vim /etc/profile

?#set spark environment SPARK_HOME=/app/spark-2.2.2-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin

? ? ? ? 使刚才的配置生效：

source /etc/profile?

? ? ? ? 3.配置Spark环境

????????切换到conf目录下：

cd /app/spark-2.2.2-bin-hadoop2.7/conf

????????使用命令复制spark-env.sh.template文件并重命名为spark-env.sh?

cp spark-env.sh.template spark-env.sh

? ? ? ? 输入hostname命令获得机器名/主机名(等一下会用到)：

hostname

????????接下来编辑spark-env.sh?

vim spark-env.sh

????????在文件末尾添加如下配置：?

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111 export SCALA_HOME=/app/scala-2.12.7 export HADOOP_HOME=/usr/local/hadoop/ export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=evassh-7930994 #这里填自己的主机名！！！? ? export SPARK_LOCAL_IP=evassh-7930994

????????保存并退出。?

? ? ? ? 4.校验

????????回到Spark的根目录：

cd ..

? ? ? ?输入命令./sbin/start-all.sh启动Spark

???????使用jps命令查看是否启动成功，有woker和master节点代表启动成功。

?

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。