로컬에서 Llama3-8B 모델 돌려보기 - Ollama
로컬에서 Llama3-8B 모델 돌려보기 - Ollama Llama3-8B 모델을 로컬에서 돌려보는 방법을 알아봅니다. 모델준비먼저 Llama3-8B 모델을 다운 받아야합니다.https://huggingface.co/QuantFactory/Meta-Llama-3-8B-Instruct-GGUF-v2/tree/main QuantFactory/Meta-Llama-3-8B-Instruct-GGUF-v2 at main huggingface.co여기로 가서 원하는 모델을 다운 받습니다.Q2, Q3, Q4 뒤에 있는 숫자가 양자화 수준을 의미합니다.하드웨어가 받쳐준다면 Q5 이상을 다운 받습니다.저 같은 경우 Meta-Llama-3-8B-Instruct-v2.Q8_0.gguf 파일을 다운받았습니다.특정폴더를 하나 ..