Ollama 특정 GPU만 사용하게 하기
•
기본 원리는 간단하다. ollama 서비스 실행 시 CUDA_VISIBLE_DEVICES를 명시해주면 된다.
•
이 글은 linux 기반의 서버를 기준으로 설명한다.
1.
시스템 서비스로 Ollama 관리:
•
터미널을 열고 다음 명령어를 입력하여 Ollama 서비스를 재시작하고,
bash
코드 복사
sudo systemctl restart ollama
Shell
복사
•
이 명령어는 Ollama 서비스를 중지한 후 다시 시작한다.
2.
수동으로 Ollama 서버 실행:
•
만약 시스템 서비스로 관리하지 않는 경우, 터미널에서 다음 명령어를 사용하여 서버를 종료하고 다시 실행할 수 있음
bash
코드 복사
# 서버 종료
pkill ollama
# 서버 실행
ollama serve
Shell
복사
이후, CUDA_VISIBLE_DEVICES 옵션 설정
Ollama 서버를 특정 GPU에서 실행하려면 CUDA_VISIBLE_DEVICES 환경 변수를 설정하여 사용할 GPU를 지정할 수 있다. 이렇게 하면 Ollama가 지정된 GPU에서만 실행된다.
•
CUDA_VISIBLE_DEVICES 설정:
bash
코드 복사
sudo nano /etc/systemd/system/ollama.service
Shell
복사
파일이 열리면 [Service] 섹션에 다음 줄을 추가한다
Environment="CUDA_VISIBLE_DEVICES=1,2"
Makefile
복사
•
서비스 파일 리로드 및 Ollama 서버 재시작:
변경 사항을 저장하고 나서, 다음 명령어를 입력하여 시스템 데몬을 리로드하고 Ollama 서버를 재시작.
bash
코드 복사
sudo systemctl daemon-reload
sudo systemctl start ollama
Shell
복사
nano 편집기에서 파일을 저장하면 끝