LangChain에서 Rerank로 RAG 정확도 높이기

LangChain에서 Rerank로 RAG 정확도 높이기 백터 검색만으로는 관련성 높은 문서를 찾기 어려울 수 있는데 Rerank 를 이용하면 결과의 순위를 재조정하는 과정을 거쳐 더 관련성 높은 문서를 선별할수 있게 됩니다.일반적인 백터 검색은 Bi-encoder 를 사용해 질문과 문서를 각각 인코딩하나 Rerank 에서는 Cross-encoder 를 사용해 질문과 문서를 동시에 입력으로 받아 더 정확한 관련성 점수를 계산하게 됩니다.아래 예시는 BAAI/bge-reranker-large 모델을 한국어 데이터로 파인튜닝한 'Dongjin-kr/ko-reranker' 를 사용했습니다.패키지 설치pip install transformers torch numpy main.pyfrom transformers ..

코딩/Python_AI 2024. 12. 29. 00:25

Llama 3.2 Vision 자동차 번호 인식

Llama 3.2 Vision 자동차 번호 인식 이전 포스팅에 이어서2024.10.15 - [코딩/Python_AI] - 로컬에 streamlit 로 llama 3.2 Vision 채팅창 만들기자동차 번호판을 인식한 결과입니다.코드 내용은 코드내에 주석으로 설명을 대신합니다.main.py (이전 포스팅 코드에서 조금 수정이 되었습니다.)import streamlit as stimport requestsimport torchfrom PIL import Imagefrom transformers import MllamaForConditionalGeneration, AutoProcessorfrom io import BytesIOfrom dotenv import load_dotenvload_dotenv()# St..

코딩/Python_AI 2024. 12. 24. 23:02

LangChain 으로 RAG기반 Wiki 검색 채팅창 만들기

LangChain 으로 RAG 기반 Wiki 데이터 활용한 채팅창 만들기 Streamlit을 사용하여 RAG (Retrieval-Augmented Generation) 기반 채팅 시스템을 구축하는 방법입니다.OpenAI의 GPT 모델과 Wikipedia 데이터를 활용하여 사용자 질문에 대한 답변을 제공합니다.설명은 소스의 주석으로 대신합니다.import osimport streamlit as stfrom langchain_community.document_loaders import WikipediaLoaderfrom langchain_text_splitters import RecursiveCharacterTextSplitterfrom langchain_openai import OpenAIEmbedding..

코딩/Python_AI 2024. 12. 24. 21:34

Noe4j 설치하기

Noe4j 설치하기 Noe4j는 Neo4j사가 개발한 그래프 데이터베이스 관리 시스템입니다.Noe4j 설치하는 방법을 알아보고 다음 포스팅에서 활용하는 방법을 알아보겠습니다. 아래 사이트로 이동해 Download 버튼을 클릭합니다.https://neo4j.com/download/ 사용자 정보를 입력하고 Download Desktop 를 클릭합니다. 아래와 같은 창이 나타나면서 프로그램 다운로드가 진행되고 아래 활성화 키를 복사해 둡니다. 다운로드한 프로그램을 실행합니다. 작업할 폴더를 지정하고 Confirm! 앞서 복사한 활성화 키를 붙여 넣기하고 Activate 버튼을 클릭합니다.무료 사용기간은 1년이라고 합니다. 학습하기에는 충분합니다. 시스템 요구사항 확인등 설치를 진행합니다. 내 데이터를 수집하..

코딩 2024. 12. 18. 21:06

n8n 으로 Youtube 요약하기 2

n8n 으로 Youtube 요약하기 2 지난 시간에 이어 포스팅이 이어집니다.2024.12.14 - [코딩/n8n_make] - n8n 으로 Youtube 요약하기 1 url 을 지정하지 않고 파라미터로 입력받아서 요약할 수 있도록 하는 방법을 알아봅니다.이전 시간의 Node 구성을 보면 Webhook 에서 Youtubr Transcript 로 이어진 걸 알 수 있습니다.Webhook Node 에서 유튜브 주소를 받아서 전달해 주어야 합니다.Webhook 를 더블 클릭하고 아래처럼 Listen for test event 버튼을 선택합니다.웹브라우저 창에서 Test URL 위에 유튜브 주소를 추가합니다.https://keisoft.co.kr/webhook-test/n8n-trigger?videourl=ht..

코딩/n8n_make 2024. 12. 15. 11:26

n8n 으로 Youtube 요약하기 1

n8n 으로 Youtube 요약하기 1 이전 포스팅에서 n8n 을 구축하였습니다.2024.11.24 - [코딩/n8n_make] - n8n 서버 무료 호스팅 1 - 구글 클라우드 서버 만들기2024.11.25 - [코딩/n8n_make] - n8n 서버 무료 호스팅 2 - n8n 설치하기2024.11.28 - [코딩/n8n_make] - n8n 서버 무료 호스팅 3 - 클라우드플레어로 SSL 인증서 및 도메인 연결하기2024.11.30 - [코딩/n8n_make] - n8n 서버 무료 호스팅 4 - 방화벽 처리 오늘은 유튜브 내용을 요약해 주도록 해보겠습니다.먼저 n8n-nodes-youtube-transcript 설치해야 합니다n8n 좌측 메뉴 하단의 … 을 선택합니다. Community nodes 를..

코딩/n8n_make 2024. 12. 14. 23:58

.NET MAUI Image Auto Scrolling 하기

.NET MAUI Image Auto Scrolling 하기 가로로 긴 이미지를 가로로 자동 스크롤 하는 방법입니다. 1. OverFlower Nuget 패키지를 설치합니다.2. 스크롤할 이미지 구하고 프로젝트에 추가하기3. 화면에서 OverFlower 컨트롤 사용해서 이미지 처리 4. 결과* Reverse, SxrollDuration, ScrollDirection 등을 이용하여 이미지 흐르는 방향과 속도등을 조절할 수 있습니다.[Source] https://github.com/kei-soft/Maui.OverFlowerTest GitHub - kei-soft/Maui.O..

코딩/.NET MAUI 2024. 12. 11. 23:58

.NET MAUI Google reCAPTCHA 사용하기

.NET MAUI Google reCAPTCHA .NET MAUI에서 reCAPTCHA 기능을 사용하는 방법입니다.먼저 reCAPTCHA 기능을 사용하기 위해서는 아래 링크로 들어가서 SiteKey, SiteSecretKey를 발급 받아야 합니다.https://www.google.com/recaptcha/admin/create 로그인 - Google 계정이메일 또는 휴대전화accounts.google.com 아래처럼 선택 하고 라벨과 패키지 명을 입력합니다.제출하게 되면 아래 처럼 SiteKey, SiteSecretKey 가 발급되고 이를 기억해둡니다.https://www.google.com/recaptcha/admin 여기로 이동하면 발급한 목록을 확인할 수 있습니다.ReCaptchaService를 각..

코딩/.NET MAUI 2024. 12. 11. 00:05

PostgreSQL 모니터링을 위한 쿼리문 모음

PostgreSQL 모니터링을 위한 쿼리문 모음 pg_ 로 시작하는 테이블에는 여러가지 DB 정보및 쿼리 정보 데이터가 들어있습니다.pg_catalog : tables, views, functions, indexes, fdw, trigger, constraints, rules, users, groups 등의 정보를 저장합니다.pg_attribute : 테이블 및 다른 pg_class object columns에 대한 정보를 저장합니다.pg_index : 인덱스에 대한 정보를 저장합니다. pg_depend : object dependent에 대한 정보를 저장합니다.pg_rewrite : 테이블 및 view 에 대한 rules 정보를 저장합니다.pg_constraint : 테이블에 constraint 정보를..

코딩/DB 2024. 12. 1. 13:07

.NET MAUI Frame GestureRecognizers 처리하기 (MVVM)

.NET MAUI Frame GestureRecognizers 처리하기 (MVVM) Frame과 GestureRecognizers란 무엇인가?Frame은 .NET MAUI에서 UI를 감싸거나 장식할 수 있는 컨트롤로, 그림자 효과, 둥근 모서리 및 배경 색상을 지원합니다. 이 컨트롤은 레이아웃이나 다른 요소를 포함할 수 있는 컨테이너 역할을 합니다.GestureRecognizers는 터치, 스와이프, 탭 등 사용자의 입력 제스처를 감지하는 데 사용됩니다. 이는 특정 UI 요소와 상호작용할 수 있는 기능을 제공합니다. 예를 들어 Frame에 TapGestureRecognizer를 추가하면 사용자가 Frame을 탭할 때 동작을 정의할 수 있습니다.이를 MVVM 패턴으로 구현하면 코드 비하인드에서의 로직이 최..

코딩/.NET MAUI 2024. 12. 1. 11:00

n8n 서버 무료 호스팅 4 - 방화벽 처리

n8n 서버 무료 호스팅 4 - 방화벽 처리 이전 시간 포스팅에서 이어집니다.2024.11.24 - [코딩/n8n_make] - n8n 서버 무료 호스팅 1 - 구글 클라우드 서버 만들기2024.11.25 - [코딩/n8n_make] - n8n 서버 무료 호스팅 2 - n8n 설치하기2024.11.28 - [코딩/n8n_make] - n8n 서버 무료 호스팅 3 - 클라우드플레어로 SSL 인증서 및 도메인 연결하기 이전 시간에 도메인을 연결해 80포트가 5678 포트로 연결되도록 했기때문에 이제 외부에서 5678 포트로 접근할 필요가 없습니다. 그래서 이전에 뚫어놓은 방화벽 포트를 이제 삭제해 줘도 됩니다.구글 클라우드 에서 전체메뉴 > 모든 제품보기 > VPC 네트워크 > 방화벽 에서 이전에 설정했..

코딩/n8n_make 2024. 11. 30. 23:58

n8n 서버 무료 호스팅 3 - 클라우드플레어로 SSL 인증서 및 도메인 연결하기

n8n 서버 무료 호스팅 3 - 클라우드플레어로 SSL 인증서 및 도메인 연결하기 이전 포스팅에서 이어집니다.2024.11.24 - [코딩/n8n_make] - n8n 서버 무료 호스팅 1 - 구글 클라우드 서버 만들기2024.11.25 - [코딩/n8n_make] - n8n 서버 무료 호스팅 2 - n8n 설치하기https 로 접속하기 위해서는 SSL 인증서를 발급받아서 처리해야하합니다.여기에 도메인과 연결하여 ip 주소가 아닌 도메인 주소로 연결해 보겠습니다.SSL 인증서는 cloudflare 를 이용합니다.cloudflare 에서 도에민을 구입해도 됩니다. (여기에서 aaa.com 을 도메인 예시로 사용하겠습니다.)하지만 저는 웹티즌에 도메인을 사놓은게 있어서 거기에 연결하겠습니다. 클라우드플레어로..

코딩/n8n_make 2024. 11. 28. 23:50

.NET MAUI Camera.MAUI 사용하기

.NET MAUI Camera.MAUI 사용하기 Camera.MAUI 를 사용하는 방법입니다.1. Camera.MAUI Nuget package 추가 2. Device 별 권한 추가Android - AndroidManifest.xml iOS - Info.plistNSCameraUsageDescription This app uses camera for... NSMicrophoneUsageDescription This app needs access to the microphone for record videos 3. MauiProgram.cs 에 코드 추가.UseMauiCameraView()using Camera.MAUI;using Microsoft.Extensions.Logging;namespace Ca..

코딩/.NET MAUI 2024. 11. 27. 21:33

n8n 서버 무료 호스팅 2 - n8n 설치하기

n8n 서버 무료 호스팅 2 - n8n 설치하기 이전 시간에 만들어 놓은 Google Cloud VM 에 n8n 을 설치해보겠습니다.2024.11.24 - [코딩/n8n_make] - n8n 서버 무료 호스팅 1 - 구글 클라우드 서버 만들기 도커 설치 준비sudo apt-get updatesudo apt-get install ca-certificates curlsudo install -m 0755 -d /etc/apt/keyringssudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.ascsudo chmod a+r /etc/apt/keyrings/docker.asc아래는 각 명령의 설명입니다.#..

코딩/n8n_make 2024. 11. 25. 23:37

Make 를 이용한 블로그 자동화

Make 를 이용한 블로그 자동화 Make 를 이용해 WordPress 블로그 글을 자동화할 수 있다고 해서 도전해 봤는데 Cafe24 의 WorePress 라서 조금 시행착오를 겪었지만성공했습니다. 블로그 자동화를 쓸일은 없겠지만 이런 작업도 가능하다니 대단한 거 같습니다.제 개인용으로 관심 뉴스를 모아서 Notion 으로 입력하게 해서 써야겠습니다.아래는 구성한 Make 시나리오 모습입니다.순서는 크게 innoreader 에서 뉴스 목록을 가져와 ChatGPT 에게 요약을 시키고 제목과 이미지를 만들고WordPress 에 글을 올리는 순서입니다.위 그림 아래쪽을 보면 알 수 있듯이 스케줄 작업이 가능해서 주기적으로 동작하게 할 수 있습니다.아래는 위 시나리오를 실행해서 만들어진 블로그 포스팅 내용의 ..

코딩/n8n_make 2024. 11. 25. 19:14

n8n 서버 무료 호스팅 1 - 구글 클라우드 서버 만들기

n8n 서버 무료 호스팅 1 - 구글 클라우드 서버 만들기 서버무료호스팅을 위해서 서버 비용이 무료인 Google Cloud 에서 무료로 제공하는 VM 이 있습니다.(단, 정책은 언제나 바뀔수 있어서 늘 확인을 해줘야 합니다.)무료플랜에 대한 아래 내용을 참고해 주세요https://cloud.google.com/free/docs/free-cloud-features?hl=ko#compute Google Cloud 무료 프로그램 | Google Cloud Free Program이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 Google Cloud 무료 프로그램 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. Google Cloud의 기..

코딩/n8n_make 2024. 11. 24. 23:37

.NET MAUI 에러 - INSTALL_FAILED_CONFLICTING_PROVIDER

.NET MAUI 에러 - INSTALL_FAILED_CONFLICTING_PROVIDER 패키지명칭을 바꾸고 기기로 디버깅하는데 아래와 같은 에러가 발생되었습니다.심각도 코드 설명 프로젝트 파일 줄 비표시 오류(Suppression) 상태오류 ADB0010: Mono.AndroidTools.InstallFailedException: Failure [INSTALL_FAILED_CONFLICTING_PROVIDER: Scanning Failed.: Can't install because provider name {your_app_id}.fileprovider (in package kr.kjun.visiontest) is already used by com.companyname.maui.visiontest]..

코딩/.NET MAUI 2024. 11. 24. 22:00

.NET MAUI iOS 배포 에러 - App Store Icon alpha channel

.NET MAUI iOS 배포 에러 - App Store Icon alpha channel iOS 에 Transporter 를 이용해 ipa 파일을 업로드 하였는데 아래 처럼 에러 메세지가 떴습니다.iOS 앱 아이콘 파일에 투명 영역(알파 값)이 포함된 경우, Apple은 이를 허용하지 않습니다.App Store에 업로드되는 아이콘은 반드시 불투명해야 하며, 투명한 픽셀값이 포함되어 있으면 앱스토어 배포 과정에서아래와 같은 오류 메시지가 나타납니다.이 에러는 Xamarin 때에도 비슷한 문제를 겪어 봐서 아이콘에 투명한 부분이 있는지 확인해 봤는데 투명한 부분이 없었습니다. 그래도 혹시나 하는 마음에 이미지를 다시 열어 알파체널 옵션을 제거하여 저장후 재배포 하였으나 같은 증상이 반복되었습니다.해결은 아..

코딩/.NET MAUI 2024. 11. 22. 00:00

.NET MAUI iOS 배포 및 디버깅 시 번들 서명 설정

.NET MAUI iOS 배포 및 디버깅 시 번들 서명 설정 * iOS 앱을 디버깅할 때서명에서 아래처럼 개발자(자동)로 선택하고 만들어 놓은 개발 프로파일을 선택합니다.Debug로 바꾸고 디버깅을 합니다.서명에서 프로필을 바꾸지 않으면 빌드만 되고 디버깅이 되지 않습니다. * iOS 앱을 배포할 때서명에서 아래처럼 수동으로 선택 배포 서명 ID를 선택하고 후 해당 앱 배포 프로파일을 선택합니다.Release로 바꾸고 원격 디바이스(맥과 연결된 있는 기기)를 선택하 게시를 누르면 보관처리가 됩니다.보관이 된 항목을 배포 ipa 파일로 만들어 줍니다.Transporter를 이용해 ipa를 업로드합니다.

코딩/.NET MAUI 2024. 11. 21. 23:09

n8n 실행 오류 - Bind for 0.0.0.0:5678 failed: port is already allocated.

n8n 실행 오류 - Bind for 0.0.0.0:5678 failed: port is already allocated. n8n 을 docker 로 실행하려는데 아래와 같은 에러가 발생되었습니다. docker: Error response from daemon: driver failed programming external connectivity on endpoint n8n (1c7fe91302879f2faf0bd601bfbec072697e1250e1c3a0122f5b2011f3b6567f): Bind for 0.0.0.0:5678 failed: port is already allocated. 이 오류는 5678 포트가 이미 다른 프로세스에 의해 사용중일 때 발생됩니다.docker build 등 이런 저..

코딩/n8n_make 2024. 11. 19. 00:02

KeiStory