LLMFIT 으로 내 컴퓨터에 적합한 로컬 모델 찾기

LLMFIT 으로 내 컴퓨터에 적합한 로컬 모델 찾기

로컬 LLM(Ollama, llama.cpp, LM Studio 등)을 써본 사람이라면 한 번쯤 겪는 문제가 있는데 바로 모델을 결정하는 일입니다.

"이 모델, 내 컴퓨터에서 돌아갈까?" 하는 질문이다. VRAM은 얼마나 필요한지, 양자화는 어떤 걸 골라야 하는지, RAM만으로 CPU 추론이 가능한지 등을 모델 카드나 커뮤니티 글을 뒤져가며 확인하는 건 꽤 번거로운 일입니다.

llmfit은 이 문제를 정면으로 해결하는 러스트(Rust) 기반 터미널 도구로 내 하드웨어를 자동으로 감지하고, 수백 개의 모델을 점수화해서 "이 모델은 내 컴퓨터에서 잘 돌아간다 / 안 돌아간다"를 바로 알려주게됩니다.

 

다운로드

https://github.com/AlexsJones/llmfit/releases

Releases · AlexsJones/llmfit

윈도우 PC 라서 아래 링크를 다운받았습니다

https://github.com/AlexsJones/llmfit/releases/download/v1.1.2/llmfit-v1.1.2-x86_64-pc-windows-msvc.zip

실행결과

압축풀고 실행하면 아래 처럼 결과가 나옵니다.

아래는 benchmarks