굴러다니는 서버에 ollama 설치하기

2년전엔 Ubuntu Server LTS 버전이 22 였는데 지금은 24랜다... 그 사이에 한번 OS 밀었어서 다시 설치를 해준다.

 

ollama 깃헙 페이지에 들어간다.

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 3, and other large language models.

 

이왕 NVIDIA GPU까지 달아뒀는데, CUDA를 최대한 써보자. NVIDIA랑 리눅스는 앙숙이라 지원을 안 해준지 오래 되었지만 슬슬 해주기는 하는 모양이라 들었다. https://youtu.be/OF_5EKNX0Eg (리눅스 개발자 리누스 토르발스의 명언을 담은 클립)

 

Linux용 CUDA Toolkit (현재 ollama 깃헙에서부터 리다이렉트 된 링크는 CUDA Tollkit 12.8)을 설치해보자. 

CUDA Toolkit 12.1 Downloads

 

상황에 맞는 OS (여기서는 Linux), Architecture (여기서는 x86_64), Distribution (여기서는 Ubuntu, 그러나 WSL 혹은 Amazon-Linux도 지원하는 모양이다), 버전(24.04) 및 타입 (deb(Network))를 선택해준다.

 

CUDA Toolkit Install

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-12-8

 

와 CUDA Toolkit설치 끝!

CUDA Toolkit 다운로드 페이지에 적혀있는 문구. 뭔가 싸한데?

 

pre-installation action이 따로 있었어?

 

혹시나 해서 갖고왔다. 하나하나 뜯어보자.

1. Introduction — Installation Guide for Linux 12.8 documentation

CUDA를 쓸 수 있는 GPU가 있는지 확인, Linux 버전이 맞는지 확인, GCC 버전이 맞는지 확인하는 단계라 모두 통과한듯 하다.

 

그후, 드라이버를 설치해준다.

드라이버의 선택지는 두 가지가 있는데, 하나는 open kernal, 또 하나는 proprietary kernal 이다. 다음 글을 참고하여 proprietary kernal 드라이버를 설치하기로 했다.

Can CUDA operate with open source Nvidia driver or only with Nvidia proprietary driver?

드라이버도 설치했으니 작동하는지 확인하기 위해서 다음 명령어를 터미널에 입력해준다.

nvidia-smi

대략 이런 박스가 보이면 성공

 

그 후 마음편히 ollama를 설치해준다. 일단은 자동 (혹은 간편) 설치를 이용하자.

curl -fsSL https://ollama.com/install.sh | sh

 

마지막으로, 설치 확인을 위해 버전을 확인해준다

ollama -v

현재 깃헙 기준 버전 0.6.2 이므로 설치가 성공적으로 잘 되었다는것을 확인할 수 있다.

ollama를 실행할 때엔 모델을 선택해서 실행할 수 있는데, 각 모델의 종류는 공식 홈페이지에서 확인할 수 있다.

Ollama Search

GGUF나 트랜스포머로 불러올 수 있긴 하지만 일단 넘어가도록 하자. 

 

환경이 그렇게 좋지 않아 3B짜리 모델을 돌려보도록 하자.

ollama run llama3.2

 

이게 돌아가네

이게되네