llama3 한국어 언어 모델 다운 받아 연결하기

llama3 한국어 언어 모델 다운 받아 연결하기

 

llama3.1 이 나와 여러 테스트를 해봤는데 한글 답변을 제대로 못해주고있어서 한글 모델을 찾고 있었습니다.

고맙게도 3.1 버전 기준으로 한글 모델을 올려준 곳이 있어 다운받아서 활용해 봤습니다.

제가 찾은 모델은 아래 사이트 입니다.

https://www.ollama.com/benedict/linkbricks-llama3.1-korean:8b

 

ollama 설치는 아래 포스팅을 확인하면됩니다.

2024.06.15 - [코딩/Python_AI] - 로컬에서 Llama3-8B 모델 돌려보기 - Ollama

로컬에서 Llama3-8B 모델 돌려보기 - Ollama

 

cmd 창을 열고 아래 명령을 실행합니다.

ollama run benedict/linkbricks-llama3.1-korean:8b

위 명령을 실행하면 모델을 다운받고 실행을 시켜줍니다.

아래 몇가지 질문에 답변한 내용입니다.

한글 모델이 아닌 경우 한자와 일본어가 섞여서 나오게 되는데 한글 모델을 사용하니 

한글 답변이 정말 깔끔하게 나옵니다.

아래는 ollama list 로 현재 제가 가지고 있는 모델들입니다.

금방 다운 받은 llama 한글 모델은 8.5 G 용량을 가지고 있습니다.

 

혹 다른 guff 파일이 필요하다면 아래 링크에서 다운받아서 ollama create 명령으로 구동하면됩니다.

https://huggingface.co/Saxo/Linkbricks-Horizon-AI-Korean-llama-3.1-sft-dpo-8B/tree/main

Saxo/Linkbricks-Horizon-AI-Korean-llama-3.1-sft-dpo-8B at main

 

결과는 대만족 입니다

이게 여기에 RAG 를 만들어 처리해 봐야겠습니다.

 

아래 한글 모델도 참고하세요

https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B

MLP-KTLim/llama-3-Korean-Bllossom-8B · Hugging Face

 

https://huggingface.co/MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M

MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M · Hugging Face