OPENAI 스트리밍 출력하기

OPENAI 스트리밍 출력하기

 

OPENAI 답변을 실시간으로 출력하는 방법을 알아봅니다.

ChatGPT 와 동일하게 실시간으로 응답을 출력하기 위해선 ChatOpenAI 의 stream 을 사용합니다.

 

from dotenv import load_dotenv
load_dotenv()

from langchain_openai import ChatOpenAI

# 객체 생성
llm = ChatOpenAI(
    temperature=0.1,  # 창의성 (0.0 ~ 2.0)
    max_tokens=1024,  # 최대 토큰수
    model_name="gpt-3.5-turbo",  # 모델명
)

# 질의내용
question = "대한민국의 역사에 대해서 설명해줘"

# 스트림 방식으로 질의
answer = llm.stream(question)

# 스트리밍 방식으로 각 토큰을 출력합니다. (실시간 출력)
for token in answer:
    print(token.content, end="", flush=True)

결과

 

참고

2024.06.08 - [코딩/Python_AI] - .env 파일에서 OPENAI_API_KEY 처리하기