OpenWebUI 사용하기

OpenWebUI 사용하기

 

OpenWebUI는 다양한 LLM(Local/Remote)을 손쉽게 연결하고 사용할 수 있는 직관적인 웹 인터페이스입니다. 이번 포스팅에서는 Windows 환경에서 OpenWebUI를 설치하고 사용하는 방법을 알아봅니다.

 

Python 버전 확인

Python 버전은 3.11 버전으로 설치해야합니다.

만약 기존에 설치된 버전이 있다면 3.11 버전을 다운받고 환경변수도 3.11 을 바로보게 변경해야합니다.

아래 사이트에서 3.11 버전을 다운받아 설치합니다.

https://www.python.org/downloads/windows/

Python Releases for Windows

기 설치된 버전이 있었다면 아래처럼 환경변수를 3.11 을 바라보게 변경합니다.

 

Ollama 설치

open-webui 는 기본적으로 로컬에 설치된 Ollama 가 있어야 모델을 사용하여 채팅이 가능합니다.

ollama 는 아래 포스팅을 참고하여 설치해주세요

2024.06.15 - [코딩/Python_AI] - 로컬에서 Llama3-8B 모델 돌려보기 - Ollama

 

가상환경 생성 및 open-webui 실행

작업 폴더를 하나 만들고 code . 으로 visual studio code 를 실행한 후

Terminal 창에서 아래 명령으로 가상환경을 생성하고 open-webui 패키지를 설치합니다.

code .

python -m venv venv
.\venv\Scripts\activate

pip install open-webui

아래 명령으로 특정 포트를 지정해 실행합니다.

open-webui serve --port 3000

사이트에 진입하면 (localhost:3000) 아래의 화면에서 관리자 계정을 생성합니다.

이제 왼쪽에 모델을 선택하고 대화를 하면 로컬에 설치된 모델로 채팅이 가능해집니다.

설치된 모델은 설정 화면에서 사용여부를 관리할 수 있습니다.

 

OpenWebUI는 로컬에서 LLM을 활용하려는 사용자에게 매우 유용한 도구입니다. 직관적인 UI와 다양한 확장 기능 덕분에 개인용 AI 플랫폼으로 손색이 없습니다. 또한 이미지 및 음성 까지 지원되어 채팅에 필요한 모든 기능이 있습니다.