ollama 를 이용해 deepseek 사용해 보기

ollama 를 이용해 deepseek 사용해 보기

 

ollama 를 이용해서 deepseek 를 간단하게 테스트 해보려고합니다.

ollama 는 아래 사이트에서 운영체제에 다운받고 설치합니다.

https://ollama.com/

Ollama

 

deepseek 모델 이미지를 다운받습니다.

https://ollama.com/library/deepseek-r1

deepseek-r1

저같은 경우는 그래픽카드 메모리가 24G 라서 32b 를 다운받아 봤습니다.

ollama pull deepseek-r1:32b

용량은 19G 정도 됩니다.

바로 실행하여 테스트 해볼수 있습니다.

실행 시 차지하는 용량은 23G 입니다. 간당간당하네요;

 

open-webui 를 이용하면 웹페이지에서 ChatGPT 창과 같은 화면에서 테스트 해 볼 수 있습니다.

Docker Desktop 을 설치하고

https://www.docker.com/products/docker-desktop/

Docker Desktop: The #1 Containerization Tool for Developers | Docker

 

아래 명령을 통해 open-webui 를 실행합니다.

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always  ghcr.io/open-webui/open-webui:main

 

웹브라우저 창에서 http://localhost:3000 로 접속합니다.

모델 선택 에서 금방 다운 받은 deepseek-r1:32b 를 선택합니다.

 

질문을 하게 되면 think 메세지가 나온 후 답변이 출력됩니다.

한국어도 문제없이 잘 답변해 줍니다.

open-webui 는 모델 여러개를 선택해서 답변을 비교해 볼수 있습니다.

핫도그는 샌드위치인가? 에 대답은 deepseek 가 정답을 말하고 있네요

deepseek 는 가끔 중국어가 섞여있는게 단점입니다.