BitNet - CPU에서 실행되는 LLM 테스트 하기
BitNet - CPU에서 실행되는 LLM 테스트 하기 로컬 LLM 처리시 GPU 가 없으면 정말 느립니다.GPU가 없어도 CPU 로도 빠르게 응답을 할수 있도록 해주는 프레임워크를 MS 에서 내놨습니다.그래서 한번 실행해서 실제 눈으로 확인을 해보려합니다.https://github.com/microsoft/BitNet GitHub - microsoft/BitNet: Official inference framework for 1-bit LLMsOfficial inference framework for 1-bit LLMs. Contribute to microsoft/BitNet development by creating an account on GitHub.github.com위 사이트를 참고 했습니다.우선..