Spark系统需要运行在Java环境中,因此本文先写Linux系统下Java的安装。
Java的安装其实很简单。Open jdk或者Oracle jdk都可以,只需要注意一下自己安装的jdk版本和打算安装的Hadoop版本,Scala版本和Spark版本是否兼容。一般来说安装的不是上古版本都行,jdk8和jdk11是比较常见的两个版本。
如果是openjdk,可以直接通过命令行安装。
以Ubuntu系统安装openjdk8为例,打开终端输入命令:
1 | sudo apt-get install openjdk-8-jdk |
若使用的Linux系统为Arch系发行版,则包下载命令会与Ubuntu等Debian系发行版有所不同。
以Arch系安装openjdk8为例,可在终端输入以下命令:
1 | sudo pacman -S jdk8-openjdk |
Arch系发行版环境下,如果觉得之前装的版本还不够,想再装一个版本的,可以使用archlinux-java命令切换版本(虽然一般不会有这个需求,但还是记一下🤗)。
以切换到openjdk11为例,在终端中输入:
1 | sudo archlinux-java set java-11-openjdk |
本文采用Oracle版本进行安装。
首先需要先去官网下载压缩包(一般是tar.gz格式),再解压到想安装的路径。
解压安装包之后(有时通过命令行安装也需要),还需要编辑环境变量。常用的Ubuntu系统一般需要在~/.bashrc文件中编辑好环境变量,也有教程在/etc/profile处修改,总之修改后都可以检查一下安装是否成功(检查方法下文会提到)。
Java环境变量的内容可参考下例(注意将JAVA_HOME中的路径改为自己的安装路径):
1 | export JAVA_HOME=/usr/lib/jdk1.8.0_301 |
注:忘了自己把Java装哪的话,可以在终端输入which java命令进行查找。(不过这个命令不一定适用于下载压缩包后自行安装的情形,有时会没有任何返回结果,即找不到。或许该命令更适用于在通过命令行进行安装时?)
完成上述流程后,可通过终端输入java -version命令来检查自身版本,也能起到检查安装是否正确完成的作用。成功安装后的输出结果一般如下所示(以Oracle版的jdk8为例):
1 | java version "1.8.0_301" |
至此Java的安装就算完成了,之后将进行Scala,Hadoop和Spark等的安装与配置。