本人环境：win10
安装spark环境所需的安装包已经打包好，放在文末的网盘中，只需解压后配置下面步骤中的环境变量即可。
安装包及步骤： Jdk + 环境变量配置Hadoop + 环境变量配置Spark + 环境变量配置Scala JDK: 下载官网根据电脑配置选择要下载的版本，本人下载的是jdk-8u211-windows-x64
环境变量配置在系统变量中添加：
变量名：JAVA_HOME 变量值：安装路径
如下图所示，D:\spark_home\Java\jdk1.8.0_211是本人jdk的安装路径
在系统变量中添加：
变量名：CLASSPATH 变量值：%JAVA_HOME%\lib
在Path中添加：
%JAVA_HOME%\bin
Hadoop: 下载网址：本人下载的是hadoop-2.7.5
环境变量配置：在系统变量中添加：
变量名：HADOOP_HOME 变量值：安装路径
如下图所示：D:\spark_home\hadoop-2.7.5是本人的安装路径
在Path中添加：
%HADOOP_HOME%\bin
用winutils-master中对应版本的bin文件替换掉，hadoop安装文件中的bin文件
winutils-master文件在文末网盘中
Spark 下载官网：本人下载的是spark-2.4.2-bin-hadoop2.7
环境变量配置：在系统变量中添加：
变量名：SPARK_HOME 变量值：安装路径
如下图所示：D:\spark_home\spark-2.4.2-bin-hadoop2.7是本人的安装路径
在Path中添加：
%SPARK_HOME%\bin %SPARK_HOME%\sbin
Scala: 下载网址本人下载的是2.13.3版本的
验证是否安装成功： 重启电脑win + R：打开cmd，进入命令框输入：spark-shell我们可以看到spark安装成功
pyspark安装：命令框中安装：
pip install findspark现在就可以用python愉快的学习spark了：
import findspark # 通过findspark导入spark findspark.init() import pyspark from pyspark import SparkContext sc = SparkContext.getOrCreate() # 初始化SparkContext nums = [1,2,3,4,5] rdd = sc.parallelize(nums) rdd.collect() 输出： [1, 2, 3, 4, 5] 安装包：链接：https://pan.baidu.com/s/1ESOdhW35YUrxNt9-NAjm1A 提取码：ngin
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
