라마3(Llama3) 사용해 보기

라마3(Llama3) 사용해 보기

 

메타가 오픈소스 LLM 라마(Llama)의 차세대 버전을 최근 출시했습니다.

https://llama.meta.com/llama3/

Meta Llama 3

 

오픈소스 중에서는 최고의 성능을 자랑하고 있습니다.

GPT-4 를 제외하고 아래그림과 같이 다른 LLM 보다 성능이 우수하다고 합니다.

출처 : Meta

Llama3 70B

Llama 모델 중 고성능 버전으로 700억 개의 매개변수가 적용되었습니다.
VRAM 성능이 요구되어 일반 가정용 PC 에서는 사용이 불가능합니다.
학습데이터는 2023년 12월까지의 정보를 기반으로 합니다.

Llama3 8B

Llama3 의 경량화 모델로 80억 개의 매개변수가 적용되었습니다.
가볍게 설계된 만큼 다양한 환경에서 사용이 가능합니다.

 

라마3 모델을 다운로드하고 설치하여 사용하는 방법은 아래 링크를 참고하면 됩니다.

https://github.com/meta-llama/llama3/blob/main/README.md

llama3/README.md at main · meta-llama/llama3

 

현재 Meta 에서 경험해 볼 수 있도록 하고 있는데요 현재 대한민국은 이용할수 없습니다.

대신 Groq 클라우드를 통해 무료로 사용해 볼 수 있습니다.

https://groq.com/

GroqChat

구글 로그인을 하면 바로 사용해 볼수 있습니다.

대화 내용은 기록되지는 않는 것 같습니다.

사용해 보니 속도가 정말 빠릅니다.

GPT-4 보다도 응답이 빠른 것 같습니다.

아래 제가 질문을 했는데 기다림 없이 텍스트가 쫙 나왔습니다.