LangSmith 사용하기

LangSmith 사용하기

 

LangSmith 는 LLM 프레임워크에 구축된 체인 및 지능형 에이전트를 디버그, 테스트, 평가 및 모니터링할 수 있으며, LLM으로 구축하기 위한 랭체인과 원활하게 통합하여 사용할 수 있습니다.

LangSmith 추적이 가능하도록 설정하는 방법을 알아봅니다.

LangSmith 설정

먼저 LangSmith 사이트에서 구글 계정으로 로그인합니다.

https://smith.langchain.com/

LangSmith

로그인을 하면 아래와 같은 화면이 뜹니다. Get started 를 선택합니다.

아래처럼 프로젝트를 만드는 화면이 바로 나오게됩니다.

Generate API Key 버튼을 클릭하면 API 키가 나옵니다.

Project Name 은 수정해도 되고 그냥 줘도 됩니다.

* 추가한 프로젝트가 목록에 보이지 않는데 파이썬 코드를 한번 실행하면 프로젝트 목록에 표시됩니다.

 

Python 코드 작성 전 준비

이제 python 코드를 작성합니다.

필요한 패키지를 설치합니다.

pip install python-dotenv

pip install -U langchain langchain-openai

 

.env 파일을 추가해 OPEN_API_KEY 와 LangSmith 관련 키들을 입력합니다.

OPENAI_API_KEY=sk-proj-**
LANGCHAIN_TRACING_V2=true
LANGCHAIN_ENDPOINT="https://api.smith.langchain.com"
LANGCHAIN_API_KEY="lsv2_**"
LANGCHAIN_PROJECT="test"

 

Python 코드 작성

아래 파이썬 코드를 작성합니다.

from langchain_openai import ChatOpenAI
from dotenv import load_dotenv

load_dotenv()

llm = ChatOpenAI()
print(llm.invoke("Hello, world!").content)

코드를 실행합니다.

python .\main.py

결과

 

LangSmith 로그 확인 및 관리

실행 후에 LangSmith 목록을 확인하면 아래처럼 목록에 추가되어 보여집니다.

LangSmith 프로젝트를 클릭하여 세부 로그를 확인할 수 있습니다.

 

로그에는 질문과 응답 속도, 호출 횟수 등이 표시되며, 이를 통해 효율적으로 프로젝트를 관리할 수 있습니다.

추적된 내용을 보면 알수 있듯이 질문다 응답 속도등을 확인할 수 있어 추척하여 관리하기 용이해 집니다.

프로젝트 추가하기

추후 프로젝트는 Observability 목록에서 우측 하단의 Tracing projects 를 클릭하여 추가합니다.

 

참고

https://docs.smith.langchain.com/

Get started with LangSmith | 🦜️🛠️ LangSmith

 

---

requirements.txt

aiohappyeyeballs==2.4.4
aiohttp==3.11.11
aiosignal==1.3.2
annotated-types==0.7.0
anyio==4.8.0
async-timeout==4.0.3
attrs==24.3.0
certifi==2024.12.14
charset-normalizer==3.4.1
colorama==0.4.6
distro==1.9.0
exceptiongroup==1.2.2
frozenlist==1.5.0
greenlet==3.1.1
h11==0.14.0
httpcore==1.0.7
httpx==0.28.1
idna==3.10
jiter==0.8.2
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.14
langchain-core==0.3.29
langchain-openai==0.2.14
langchain-text-splitters==0.3.4
langsmith==0.2.10
multidict==6.1.0
numpy==1.26.4
openai==1.59.3
orjson==3.10.13
packaging==24.2
propcache==0.2.1
pydantic==2.10.4
pydantic_core==2.27.2
python-dotenv==1.0.1
PyYAML==6.0.2
regex==2024.11.6
requests==2.32.3
requests-toolbelt==1.0.0
sniffio==1.3.1
SQLAlchemy==2.0.36
tenacity==9.0.0
tiktoken==0.8.0
tqdm==4.67.1
typing_extensions==4.12.2
urllib3==2.3.0
yarl==1.18.3