spark的安装与配置

在学习大数据框架hadoop的过程中，Spark的配置是必须的，但是在linux系蕙蝤叼翕统中对Spark的配置过程中会遇到很多配置错误的问题，这里我将自己在Ubuntu19.10下配置Spark的过程分享一下。供大家作为参考。

工具/原料

linux系统

Ubuntu版本：19.10

Spark版本：2.3.3

hadoop版本：3.0.2

下载spark

1、百度搜索Spark，找到【Downloads | ApacheSpark】点击进入Spark官方下载页面

3、这里点击第一个，选择要安装的目录

4、将下载好的spark压缩包通过U盘传到Ubuntu系统下（因为我将一台电脑装成了Ubuntu系统，没有用到虚拟机，所以我用的U盘来传文件）

5、将下载 spark-2.3.3-bin-hadoop2.7.tgz 文件文件移到/opt目录下并解压

6、重命名文件（这里我命名的文件名是spark）

Spark单机配置

1、编辑spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加以下配置信息:

3、运行结果如下图所示，可以得到π 的 14位小数近似值