LM-Kit.NET 활용하기

LM-Kit.NET 활용하기

 

LM-Kit.NET 으로 guff 파일을 이용해 대화하는 방법입니다. 아래 사이트에서 제공하는 코드를 사용했고

https://lm-kit.com/products/download/

LM-Kit.NET | Start Building with Generative AI in Minutes

 

guff 파일로 저는 야놀자 한국어 모델을 사용했습니다.

 

https://huggingface.co/teddylee777/EEVE-Korean-Instruct-10.8B-v1.0-gguf/tree/main

teddylee777/EEVE-Korean-Instruct-10.8B-v1.0-gguf at main

 

콘솔프로젝트를 하나 만들고 아래 Nuget 을 설치합니다.

(LM-Kit.NET, LM-Kit.NET.Backend.Cuda12.Windows)

 

저 같은 경우는 2024.10.4 버전을 설치해야 잘 동작했습니다.

제 컴퓨터에 설치된 CUDA 버전 정보는 아래와 같습니다.

제 로컬에 있는 guff 파일을 이용해 간단하게 아래와 같이 코딩하면 됩니다.

namespace ConsoleApp.lmkitTest
{
    internal class Program
    {
        static void Main(string[] args)
        {
            // See https://aka.ms/new-console-template for more information
            var model = new LMKit.Model.LLM(@"G:\Huggingface-model\EEVE-Korean-Instruct-10.8B-v1.0\EEVE-Korean-Instruct-10.8B-v1.0-Q8_0.gguf");

            var chat = new LMKit.TextGeneration.MultiTurnConversation(model);

            var response = chat.Submit("대한민국의 수도는?");

            Console.WriteLine("Response: " + response.Completion);
        }
    }
}

결과

Response: 서울특별시가 대한민국의 수도입니다.

위 라이선스 메세지는 아래 사이트에서 정보를 입력하면 메일로 키를 보내줍니다.

https://lm-kit.com/products/community-edition/

해당키를 아래처럼 넣어주면 사라집니다.

LMKit.Licensing.LicenseManager.SetLicenseKey("019A****");

 

아래 샘플 프로젝트를 보면 여러 가지 방법으로 사용 가능해 보이는데 테스트해봐야겠습니다.^^

https://github.com/LM-Kit/lm-kit-net-samples/tree/main

GitHub - LM-Kit/lm-kit-net-samples: .NET samples for LM-Kit.NET

 

아래 lm-kit 허깅페이스에  다양한 guff 파일이 있습니다. 

경량화 모델도 있어 가볍게 사용할 때 사용하면 좋을 것 같습니다.

https://huggingface.co/lm-kit

lm-kit (LM-Kit)

 

lm-kit doc

https://docs.lm-kit.com/lm-kit-net/index.html

Enterprise-Grade .NET SDK for Integrating Generative AI Capabilities | LM-Kit.NET