Spark on linux | Notion

WSL2에서의 Spark 설치 - Data Science | DSChloe

개요

간단하게 PySpark를 설치해보는 과정을 작성한다.
WSL2 설치 방법은 다루지 않는다.

필수 파일 설치

설치가 안 되었을 경우에 설치한다.
자바 및 Spark 파일을 설치하도록 한다.

$ sudo apt-get install openjdk-8-jdk
$ sudo wget <https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz>
$ sudo tar -xvzf spark-3.2.0-bin-hadoop3.2.tgz

.bashrc 파일 수정

경로를 다음과 같이 설정한다.

evan@evan:/mnt/c/hadoop$ pwd
/mnt/c/hadoop

설치한 파일은 다음과 같다.

evan@evan:/mnt/c/hadoop$ ls
spark-3.2.0-bin-hadoop3.2  spark-3.2.0-bin-hadoop3.2.tgz

vi ~/.bashrc 파일을 열고 다음과 같이 코드를 작성한다.
- 다른 코드는 건드리지 않는다.
- 마지막 라인에서 작성한다.

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export SPARK_HOME=/mnt/c/spark
export PATH=$JAVA_HOME/bin:$PATH
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=/usr/bin/python3

Untitled

테스트

pyspark를 실행한다. (경로에 주의한다)
SPARK_HOME을 다음과 같이 설정했으니 해당 경로에서 실행.