Langflow 에서 Ollama 를 이용해 RAG 사용하기

이전 시간에 Langflow 설치방법에 대해서 알아봤습니다.

오늘은 Ollama 를 이용해서 RAG 사용하는 방법을 알아봅니다.

Templates 에서 RAG 의 document Q&A 를 선택합니다.

document Q&A 는 문서 기반으로 질문을 할 수 있게 합니다.

아래와 같은 화면에 나오게되는데 OpenAI 를 삭제하고 Ollama 를 이용하도록 변경합니다.

좌측의 Components 에서 ollama 를 검색하여 Ollama 를 드래그 하여 끌어다 놓습니다.

(저는 Windows 환경에서 작업을 진행하였습니다. Ollama 가 실행되어 있어야합니다.)

Base URL 에 http://localhost:11434 를 입력하고 Model Name 선택하는 곳에서 새로고침 버튼을 클릭합니다.

Ollama 가 제대로 실행되어 있는 상태라면 아래처럼 Ollama 에 모델들이 표시됩니다.

저는 llama3.2:3b 를 선택했습니다.

OpenAI 를 삭제하고 아래처럼 Ollama 노드와 연결시킵니다.

이제 왼쪽 끝의 File 에 원하는 문서를 넣습니다.

저는 유니티 자격증 관련한 문서를 넣어봤습니다.

이제 노드 작성은 끝났고 우측 상단의 Playground 버튼을 클릭합니다.

이제 문서 기반으로 질문을 해보면 문서의 내용을 기반으로 응답 하는 걸 확인할 수 있습니다.

728x90

KeiStory