Jupyter Notebook (JupyterLab) 원격서버 설정하기

목차

 

💡 Anaconda 환경에서 Jupyter Lab 설치 및 Ubuntu 18.04 원격 서버 구성

1. Jupyter란?

“Project Jupyter”는 IPython (Interactive Python) 프로젝트에서 탄생한 비영리 오픈소스 프로젝트입니다.

Data Science, Machine Learning 등에서 Python을 쉽게 활용할 수 있도록 만들어진 Web 기반의 Interactive Interpreter라고 할 수 있습니다.

Python 뿐만 아니라 다양한 프로그래밍 언어로 코드를 작성하고 실행하는 개발환경을 제공합니다.

기본적으로 블록 단위로 코드 실행이 가능하고, 이를 활용하여 데이터를 시각화하고 디버깅 하는 등, 다양한 작업을 할 수 있습니다.

뿐만 아니라, 마크다운 문법을 활용하여 주석을 다는 등 여러 개의 코드와 실행결과와 더불어 하나의 문서처럼 관리가 가능하다는 특징이 있습니다.

Jupyter Notebook은 고전적인 인터페이스를 가진 web application으로 단순하고 문서 중심적인 경험을 제공하는 반면, JupyterLab은 Jupyter Notebook을 개선한 차세대 인터페이스로 웹 기반의 인터랙티브 개발환경을 제공합니다. 기존 Jupyter Notebook에 다중 탭 지원 및 다양한 확장 기능을 추가한 향상된 시스템이라고 할 수 있습니다.

본 문서에서는 JupyterLab을 Ubuntu 18.04에 설치하고, 부팅시 자동 실행되는 원격 서버로 구성하는 방법을 정리하였습니다.

2. JupyterLab 설치 및 설정

2.1 JupyterLab 설치

Anaconda 환경에서 JupyterLab의 설치는 간단한 명령어로 진행될 수 있습니다.

pip install jupyterlab

설치가 정상적으로 완료되면 다음 명령어를 통해 실행할 수 있습니다.

jupyter lab
# 또는
jupyter-lab

2.2 JupyterLab 설정

JupyterLab은 웹 기반 Application이기 때문에 실행하게 되면 기본적으로 브라우저가 열리게 됩니다.

서버만 실행하기 위해서는 —-no-browser를 실행 명령어 뒤에 붙이게 되면 브라우저는 자동으로 열리지 않습니다.

jupyter-lab --no browser

추가적인 세팅 없이 실행할 경우 웹 브라우저에서는 http://localhost:8888 또는 http://12.0.0.1:8888 주소로 접속하면 JupyterLab을 사용할 수 있습니다.

접속의 ip 혹은 port 번호를 지정하여 사용하고 싶다면, --ip 와 --port 옵션을 사용하여 설정할 수 있습니다.

jupyter-lab --ip=<ip address> --port=<port number>

매번 이러한 설정을 하기는 번거롭기 때문에 기본 실행 옵션을 설정하기 위해서는 config 파일을 사용하는 방법이 있습니다. config 파일을 생성하는 명령어는 다음과 같습니다.

jupyter-lab --generate-config

위 명령어는 ~/.jupyter/ 위치에 jupyter_notebook_config.py 파일을 생성합니다.

(다른 위치에 있는 config 파일을 사용할 수 있지만, 본 글에서는 다루지 않도록 하겠습니다.)

제가 사용한 옵션 위주로 설명하도록 하겠습니다. 다음 코드블럭에 있는 내용을 생성된 jupyter_notebook_config.py 파일의 제일 위에 붙여 넣어 사용하시면 됩니다.

c = get_config()
c.JupyterApp.config_file_name = 'jupyter_notebook_config.py'
c.NotebookApp.allow_origin = '*'
c.NotebookApp.ip = 'ip_address'
c.NotebookApp.open_browser = False
c.NotebookApp.password = 'password'

c.NotebookApp.allow_origin = ‘*’ 옵션은 JupyterLab 서버에 접속을 허용하는 IP를 특정하는 기능입니다. 기본은 내부접속만 허용되는 ‘’ 이지만 외부 접속을 위해서 모든 곳에서 접속이 가능한 ‘*’ 로 설정하였습니다. 이럴 경우 보안에 문제가 될 수 있으니 암호를 설정하는 것이 필수적이라 할 수 있습니다.

c.NotebookApp.ip = 'ip_address' 옵션은 JupyterLab 서버 접속에 사용할 IP 주소입니다. 본인 컴퓨터의 IP 주소를 사용하면 됩니다.

c.NotebookApp.open_browser = False 옵션은 Jupyter 실행 시에 브라우저를 자동으로 실행할지 결정합니다. 기본은 True이나 브라우저 실행을 방지하기 위해 False를 사용하였습니다.

c.NotebookApp.password = 'password' 옵션은 Jupyter 서버에 접속하기 위해 사용할 암호를 설정합니다. 패스워드는 파이썬 쉘에서 다음 명령어를 실행하여 생성할 수 있습니다.

>>> from notebook.auth import passwd
>>> passwd()
Enter password:  # 암호 입력
Verify password:  # 암호 확인
'password' # 복호화된 암호 해시 값 출력

생성된 ‘password’ 값을 복사하여 위의 옵션에 넣어주면 됩니다. 그러면 접속 시 다음과 같은 암호 입력 창을 볼 수 있게 되고 입력한 암호를 넣으면 접속 가능합니다.

이러한 명령어를 사용하면 JupyterLab을 실행하고 있는 하나의 Terminal 창이 계속해서 존재하게 됩니다. 이러한 것을 방지하기 위해서는 nohup 명령어를 이용할 수 있습니다.

# nohup은 리눅스에서 프로세스를 실행한 터미널의 세션 연결이 끊어지더라도 동작할 수 있게 하는 명령어입니다.

nohup jupyter-lab &

2.3 JupyterLab 서비스 등록 (부팅 시 자동 실행)

위의 명령어들을 사용하는 것은 JupyterLab을 사용할 때마다 서버를 열어야하는 번거로움이 있습니다.

원격지에서 서버가 재부팅되거나 하는 경우에도 자동으로 실행되도록 서비스를 만드는 방법을 공유하도록 하겠습니다.

• 초기에는 conda 환경 안에 Jupyter를 설치하여 사용했으나 일부 라이브러리와의 충돌이 있어 기본 환경에 Jupyter를 설치하고 커널을 추가하였으며, 환경변수 등의 문제가 있어 다음 명령어로 사용하였습니다.

다음 명령어를 통해 리눅스 service 파일을 생성합니다.

sudo nano /etc/systemd/system/jupyter.service

다음 내용을 입력합니다.

[Unit]
Description=Jupyter Server

[Service]
User=<USERNAME>
ExecStart=/bin/bash -i -c "jupyter-lab --allow-root --config=<CONFIG_PATH>"
WorkingDirectory=<DIRECTORY>
Restart=on-failure
RestartSec=10s

[Install]
WantedBy=multi-user.target

사용자에 맞게 변경해야하는 옵션은 다음과 같습니다.

• : 사용자 이름
• <CONFIG_PATH>: 앞에서 생성한 jupyter_notebook_config.py 파일의 위치
• : 해당 Jupyter가 접근 할 수 있는 작업 경로

위의 명령어를 해석하면 다음과 같습니다.

• 설정한 User의 권한으로 WorkingDirectory에서 ExecStart의 명령어를 실행한다.
• Restart 조건일 때, RestartSec 마다 서비스를 재실행한다.

본인의 경우 일부 라이브러리의 충돌이 있어 ~/.bashrc 에 입력된 환경변수를 동일하게 사용하기 위해서, /bin/bash -i -c "jupyter-lab --allow-root --config=<CONFIG_PATH>" 명령어를 활용하여 bash 기반으로 실행할 수 있도록 구성하였습니다.

해당 파일을 작성하고 저장한 뒤, 다음 명령어를 통해서 작성한 서비스를 시스템에 등록합니다.

sudo systemctl daemon-reload
sudo systemctl enable jupyter.service
sudo systemctl start jupyter.service

등록한 서비스의 작동 상태를 확인하기 위해서는 다음 명령어를 입력합니다.

sudo systemctl status jupyter.service

위 명령어 실행시 다음과 같이 active 표시가 뜨면 정상적으로 실행중인 것입니다.

2.4 JupyterLab Kernel 추가

위와 같이 실행한 JupyterLab에는 기본 커널만 생성되어 있습니다.

생성된 Conda 환경에서 작업하고자 한다면 다음 명령어를 통해 Kernel을 추가하여 사용합니다.

1. ipykernel 설치

pip install ipykernel

2. JupyterLab 안에 Kernel 설치

python -m ipykernel install --user --name<가상환경 이름> --display-name<표시될 커널 이름>

3. Kernel 확인

jupyter kernelspec list

4. Kernel 제거

jupyter kernelspec uninstall <가상환경 이름>