OPENAI LogProb 란?
OPENAI LogProb 란? 주어진 텍스트에 대한 모델의 토큰 확률의 로그 값 을 의미합니다.로그 확률은 특히 확률 값이 매우 작을 때 유용하게 사용됩니다.이를 통해 계산의 수치적 안정성을 확보하고, 더 작은 값들을 다룰 수 있게 됩니다. 로그 확률은 확률 모델, 특히 자연어 처리(NLP)와 머신러닝에서 자주 사용됩니다.토큰이란 문장을 구성하는 개별 단어나 문자 등의 요소를 의미하고, 확률은 모델이 그 토큰을 예측할 확률을 나타냅니다. 예시코드from dotenv import load_dotenvload_dotenv()from langchain_openai import ChatOpenAI# 객체 생성llm_with_logprob = ChatOpenAI( temperature=0.1, # 창의성..