Spark学习记录(一):Java安装
2022-03-04 13:21:53

Spark系统需要运行在Java环境中,因此本文先写Linux系统下Java的安装。

Java的安装其实很简单。Open jdk或者Oracle jdk都可以,只需要注意一下自己安装的jdk版本和打算安装的Hadoop版本,Scala版本和Spark版本是否兼容。一般来说安装的不是上古版本都行,jdk8和jdk11是比较常见的两个版本。

如果是openjdk,可以直接通过命令行安装。

以Ubuntu系统安装openjdk8为例,打开终端输入命令:

1
sudo apt-get install openjdk-8-jdk

若使用的Linux系统为Arch系发行版,则包下载命令会与Ubuntu等Debian系发行版有所不同。

以Arch系安装openjdk8为例,可在终端输入以下命令:

1
sudo pacman -S jdk8-openjdk

Arch系发行版环境下,如果觉得之前装的版本还不够,想再装一个版本的,可以使用archlinux-java命令切换版本(虽然一般不会有这个需求,但还是记一下🤗)。

以切换到openjdk11为例,在终端中输入:

1
sudo archlinux-java set java-11-openjdk

本文采用Oracle版本进行安装。

首先需要先去官网下载压缩包(一般是tar.gz格式),再解压到想安装的路径。

解压安装包之后(有时通过命令行安装也需要),还需要编辑环境变量。常用的Ubuntu系统一般需要在~/.bashrc文件中编辑好环境变量,也有教程在/etc/profile处修改,总之修改后都可以检查一下安装是否成功(检查方法下文会提到)。

Java环境变量的内容可参考下例(注意将JAVA_HOME中的路径改为自己的安装路径):

1
2
3
export JAVA_HOME=/usr/lib/jdk1.8.0_301
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

注:忘了自己把Java装哪的话,可以在终端输入which java命令进行查找。(不过这个命令不一定适用于下载压缩包后自行安装的情形,有时会没有任何返回结果,即找不到。或许该命令更适用于在通过命令行进行安装时?)

完成上述流程后,可通过终端输入java -version命令来检查自身版本,也能起到检查安装是否正确完成的作用。成功安装后的输出结果一般如下所示(以Oracle版的jdk8为例):

1
2
3
java version "1.8.0_301"
Java(TM) SE Runtime Environment (build 1.8.0_301-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.301-b09, mixed mode)

至此Java的安装就算完成了,之后将进行Scala,Hadoop和Spark等的安装与配置。