sionic ai 에서 제공하는 llama3 한국어 모델 사용해 보기

sionic ai 에서 제공하는 llama3 한국어 모델 사용해 보기

 

sionic ai 에서는 llama3 한국어 모델을 배포하고 있습니다.

https://github.com/sionic-ai/xionic-ko-llama-3-70b

GitHub - sionic-ai/xionic-ko-llama-3-70b

 

해당 모델을 다운받지 않아도 이를 사용해 볼수 있습니다.

아래처럼 코딩하면 사용해 볼수 있습니다.

from langchain_openai import ChatOpenAI
from langchain import hub
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate

llama3 = ChatOpenAI(
    base_url="http://sionic.chat:8001/v1",
    api_key="934c4bbc-c384-4bea-af82-1450d7f8128d",
    model="xionic-ko-llama-3-70b",
    temperature=0.1,
)

prompt = PromptTemplate.from_template("{topic} 에 대하여 3문장으로 한글로 설명해줘.")

chain = prompt | llama3 | StrOutputParser()

for token in chain.stream({"topic": "AI LLM"}):
    print(token, end="", flush=True)

 

OPENAI 가격이 부담스러운 분들은 사용해 보면 학습할 때 도움이 될것 같습니다.

위 모델은 상업적으로도 사용이 가능하기 때문에 서비스를 만들어 배포할 수도 있습니다.