본문 바로가기
반응형

전체 글94

AutoHyDE 개요 🤖 AutoHyDE: 자동 하이브리드 질의 응답의 진화📌 개요요즘처럼 대규모 언어 모델(LLM)을 활용한 RAG(Retrieval-Augmented Generation) 시스템이 활발히 사용되는 시대에, 얼마나 정확하고 효율적인 정보 검색이 가능한가는 매우 중요한 문제입니다.하지만 사용자 질문이 짧거나 불완전한 경우, 기존 RAG 구조에서는 적절한 정보를 검색하기 어려울 수 있습니다. 이때 등장한 것이 바로 AutoHyDE (Automatic Hybrid Decomposition and Execution)입니다.🔍 AutoHyDE란?AutoHyDE는 2023년 발표된 논문에서 소개된 기술로, 복잡하거나 불완전한 질문을 처리하기 위해 LLM과 검색 시스템을 하이브리드로 자동 조합하여 질문을 재구성하고.. 2025. 7. 24.
Semantic Chunking: 의미 기반 청킹이 중요한 이유 📌 개요대용량의 텍스트 데이터를 다룰 때, 특히 LLM(Large Language Model) 을 활용하는 시스템에서는 전체 문서를 한 번에 처리하는 것이 어렵습니다. 이때 우리는 문서를 작은 덩어리, 즉 "청크(Chunk)" 로 나누는 작업을 하게 되는데요. 단순히 일정한 글자 수나 문단 수로 자르는 것이 아니라, 의미 단위로 나누는 것을 바로 Semantic Chunking이라고 부릅니다.이 글에서는 Semantic Chunking이 무엇인지, 왜 중요한지, 어떻게 활용할 수 있는지에 대해 알아보겠습니다.🔍 의미: Semantic Chunking이란?✅ 정의Semantic Chunking은 문서나 텍스트를 문법적·논리적·의미 기반으로 청크(덩어리)로 분할하는 기법입니다. 단순히 500자마다 자르거.. 2025. 7. 24.
슬로우 조깅 방법 조깅하시는 분들이 많이 늘였습니다. 그러나 체중이 있는 분들, 혹은 초보의 경우 자신의 호흡과 코어 근육에 맞지 않은 조깅은 무릎과 허리 등에 무리가 올 수 있습니다.때문에, 최근에는 속도와 거리에 중점을 두는 조깅 보다는, 자신의 호흡과 수준에 맞는 슬로우 조깅을 하시는 분들이 늘고 있습니다.오늘은 슬로우 조깅의 방법에 대해서 말씀 드리겠습니다.🌱 슬로우 조깅이란?슬로우 조깅은 말 그대로 느리게 달리는 조깅입니다.일본 규슈대학의 니시자와 히로아키 박사가 대중화시킨 이 운동은, 걷는 속도보다 살짝 빠른 정도로 천천히 달리는 운동법이에요.🎯 핵심은 속도가 아니라, 조깅의 형태로 지속하는 것!즉, 거리와 속도 보다는 꾸준하게 같은 심박으로 다소 오래 뛰는 것을 목표로 두시면 됩니다. 🕒 적절한 시간과 .. 2025. 7. 17.
실패하지 않고 러닝화 고르는 법 : 사이즈 편 오늘은 러닝화 고르는 방법에 대해서 얘기해볼 까 합니다.처음 러닝에 입문 하시면 러닝화 하나쯤은 장만하고 싶지만, 일반적인 신발 고르듯이 해서는 나중에 후회하는 경우가 많습니다.러닝화를 고를 때 어떤 기준으로 고르는 것이 좋을지 한번 알아 보겠습니다. 1. 러닝화는 5~10mm 크게 골라 주세요달릴 때는 발이 반복적으로 눌리면서 발이 팽창하거나 붓기 때문입니다. 장시간 러닝을 하면 특히 발 앞 부분이 반복적으로 신발 끝에 닿을 수가 있는데, 오랜시간 러닝을 하다보면 발톱에 무리가 가서 결국은 빠질 수가 있습니다...실제 연구에 따르면 10Km를 달릴경우 발 길이가 5-8mm 까지 길어질 수 있다고 합니다.5~10mm가 애매하다 싶으시면 발을 최대한 앞으로 땡긴 후에 뒤꿈치 부분에 손가락이 하나 정도 들어.. 2025. 7. 15.
론 뮤익 전시전 방문기 얼마전 론 뮤익 전시회가 종료 되었습니다.저도 잠시 시간을 내서 다녀왔는데, 월요일인데도 불구하고 생각보다 사람이 많아서 놀랐습니다.자세한 설명은 아래 링크를 참고하세요 국립현대미술관#1. 전시 인사 안녕하십니까? 작가 김영하입니다. 론 뮤익은, 1958년 멜버른에서 태어나 1986년부터 영국을 기반으로 활동해 온 조각가입니다. 현대 인물 조각을 근본적으로 새롭게 정의한 작가이www.mmca.go.kr 론 뮤익(Ron Mueck, 1958년 출생) 은 초현실적인 리얼리티 작가로 호주에서 태어나 지금은 영국에서 활동하고 있으며,'극사실주의'라는 말처럼, 마치 실제 사람을 보는 것처럼 너무나도 정교하게 작품을 만든 것이 특징입니다.그리고 크기에 대한 외곡을 통해 작가 만의 독특한 생각을 전달 합니다.실제 작.. 2025. 7. 15.
벡터 데이터베이스 선택시 고려사항 1. Vector Database란 무엇인가?벡터 데이터베이스는 텍스트, 이미지, 음성 등 비정형 데이터를 수치 벡터로 변환해 저장하고, 이 벡터 간 유사도를 빠르게 검색하는 데 최적화된 데이터베이스입니다. 주로 시맨틱 검색, 추천 시스템, 대규모 언어 모델(LLM) 기반 애플리케이션 등에서 사용되며, 의미 기반 검색과 검색 증강 생성(RAG) 기술의 핵심 인프라 역할을 합니다.2. Vector Database 선택 시 고려 사항확장성(Scalability): 데이터 양과 쿼리 수요가 증가해도 성능 저하 없이 수평 확장이 가능한지 확인해야 합니다. 동적 세그먼트 배치(Dynamic segment placement) 지원 여부도 중요합니다.지연 시간(Latency) 및 성능(Performance): 초당 .. 2025. 7. 15.
[2025.10.26] 2025 감성런 (잠실 한강공원) 잠실 한강공원 트랙구장을 도는 감성런이 접수 중입니다.한강을 바라보며 뛸 수 있는 것은 물론, 참가비가 다른 곳 보다 저렴한 것이 특징이네요 :)자세한 신청은 아래 참고 바랍니다.감성런마라톤대회 감성런마라톤대회 xn--439a68tboh.kr 사전 등록 기간 : 7/1(화)~9/22(월) (작성 날 기준, 현재 접수 가능합니다)참가비 : Half - 5만원, 10Km - 5만원, 5Km 45000원 2025. 7. 14.
[2025.09.07] RUN SEOUL RUN 2025 마라톤 제 19회 일간 스포츠 마라톤이 있습니다.작성하는 현재 날짜(7/14)기준 아직 접수 마감되지 않았으니 서두르세요참가신청은 아래 참고 2025 RUN SEOUL RUN - 일간스포츠 서울마라톤일간스포츠 서울마라톤 런 서울 런 RUN SEOUL RUN 10KM, 21KM, 2025년 9월 7일 일요일 오전 8시 서울 광장runseoulrun.com 일시 : 2025.09.07(일) 08:00~13:00장소 : 서울 광장코스 : 10KM (참가비 : 59,000원), 21KM(참가비 : 79,000원)인원 : 약 15,000명 구독/공감버튼이 큰 힘이 됩니다 2025. 7. 14.
[2025.11.16] MBN Seoul 마라톤 (접수: 7/30) MBN 서울 마라톤 일정이 나왔습니다. Half와 10Km 두 코스로 나왔네요작성하는 현재 기준으로 아직 접수 전이기 때문에 알람 설정해두시면 좋을 것 같습니다.코스를 보시면 Half 기준으로 광화문 광장에서 출발해 장한평, 군자를 거쳐 잠실 종합 운동장 까지 서울을 전부 거쳐가는 러닝에 볼것들이 많은 코스 일것 같네요~ !! 상세 접수는 아래 Link를 참고하세요 MBN 서울 마라톤 | 대한민국 최고의 마라톤 대회MBN 서울 마라톤은 서울 중심가를 달리는 대한민국 최고의 마라톤 대회입니다. 42.195km 풀코스, 하프코스, 10km 등 다양한 코스로 참가하세요.www.mbn-seoulmarathon.com [세부 일정]사전 정보 등록은 7/25일~7/29일 이고* Half 마라톤은 7/30일 (모.. 2025. 7. 14.
벡터 데이터베이스 : 양자화 기법(SQ, PQ) [1] Scalar Quantization 1. Scalar Quantization이란?Scalar Quantization (스칼라 양자화)는 고차원 벡터를 저장하거나 검색할 때 메모리를 줄이고 처리 속도를 높이기 위해 벡터 값을 압축하는 기법입니다. 특히, 벡터 데이터베이스(Vector DB)나 유사도 검색 시스템에서 자주 사용됩니다. 고차원 벡터의 각 **스칼라 값(1차원 수치)**을 일정한 범위의 **이산값(quantized value)**으로 근사화하여 표현하는 방식입니다.예:원래 벡터: [0.12, -1.75, 3.90]양자화 후: [1, -2, 4] (정수 근사)실제 예 (int8 양자화)원래 벡터 값 범위: -1.0 ~ 1.0 0.34round( (0.34+1)/.. 2025. 7. 14.
벡터 데이터베이스 : Graph Index 1. Graph Index란?Graph Index는 각 벡터를 노드(node)로 보고, 유사한 벡터끼리 엣지(edge)로 연결하여 그래프 형태의 인덱스를 구성하는 방식입니다.검색할 때는 그래프 위를 탐색하며 점점 더 유사한 벡터로 이동하는 식으로 근접 벡터를 찾습니다.대표적인 구현은 HNSW (Hierarchical Navigable Small World)입니다.2. Graph Index의 동작 원리 (HNSW 기준)주요 개념노드(Node): 저장된 벡터엣지(Edge): 유사한 노드 간 연결탐색(Traversal): 이웃 벡터 중 더 가까운 쪽으로 이동레벨(Level): 계층 구조를 통해 탐색 효율 향상 상위 레벨에서 대략적인 위치 탐색하위 레벨로 내려가며 근접 노드들 사이를 이동최종적으로 Top-K 유.. 2025. 7. 14.
벡터 데이터베이스 : Hash Index란 1. Hash Index란?Hash Index는 벡터를 해시 함수로 변환하여 비슷한 벡터는 같은 해시 버킷에 들어가게 만들어, 전체를 탐색하지 않고도 유사한 벡터를 빠르게 찾도록 하는 인덱싱 기법입니다.[여기서 잠깐, 해시 버킷이란?]해시 버킷은 해시 함수를 통해 얻은 해시값에 따라 데이터를 분류하여 저장하는 그룹 또는 공간입니다.유사한 입력(벡터)이 같은 해시값을 갖도록 설계된 해시 함수(Locality Sensitive Hash)를 사용하면, 유사한 벡터들이 같은 버킷 안에 들어가게 됩니다.벡터1 ─┬─> 해시 함수 ─┬─> 버킷 A 벡터2 ─┘ └─> 버킷 B ... 벡터N ───────────────> 버킷 A해.. 2025. 7. 14.
RAG 구현시 고려사항 : (6) 멀티턴 대화(ConversationBufferMemory) 멀티턴 RAG에서의 문맥 유지 전략멀티턴 대화란 사용자가 여러 번 연속적으로 질문을 던지는 상황을 말합니다.예를 들어, 사용자와 AI 사이에 다음과 같은 흐름이 있다고 해봅시다.User: "X100 제품의 무게는 얼마야?"User: "그보다 가벼운 모델은 있어?"User: "그 모델은 방수되니?"이처럼 두 번째 이후의 질문들은 대부분 앞선 질문의 문맥을 전제로 합니다.따라서 RAG 시스템이 이런 흐름을 정확히 파악하고 연결된 문맥을 유지하며 검색과 생성을 수행할 수 있어야 합니다.멀티턴 문맥이 필요한 이유유형 설명 지시어 생략“그거” “그 제품” “그 사람”처럼 이전 대상이 명시되지 않음조건 누적“그중 가장 저렴한 걸 알려줘” → 이.. 2025. 7. 11.
RAG 구현시 고려사항 : (5) RAG 성능 최적화 전략 5. RAG 성능 최적화 전략RAG 시스템은 구조적으로 유연하고 강력하지만, 검색 정확도와 생성 품질은 세부 구성과 튜닝 수준에 따라 천차만별입니다.이 장에서는 실제 현업 또는 서비스 환경에서 RAG 성능을 최적화하는 방법과 정량적 평가 지표를 소개합니다.1. Retriever 성능 최적화📌 핵심 튜닝 항목항목 설명 최적화 전략top_k검색할 문서 개수너무 크면 noise, 너무 작으면 recall↓nprobeIVF 탐색 범위 (FAISS)Recall/Latency의 트레이드오프Reranker 사용재정렬 정확도 ↑Cross-Encoder 기반 모델.. 2025. 7. 11.
RAG 구현시 고려사항 : (4) 프롬프트 설계 및 Generator 고려사항 4. 프롬프트 설계 및 Generator 고려사항RAG 시스템에서 Retriever가 문서를 잘 가져오더라도, LLM이 그 문서를 정확히 이해하고 활용할 수 있도록 프롬프트를 잘 구성하는 것이 매우 중요합니다.이 섹션에서는 프롬프트 템플릿 구성, 문서 삽입 전략, 그리고 Generator 선택 시 고려해야 할 점을 자세히 설명합니다.✅ 1. 프롬프트 설계의 중요성프롬프트 설계는 단순한 질문 전달이 아닌, 다음 역할을 수행합니다:역할설명문맥 주입검색된 문서를 LLM이 이해할 수 있게 연결정보 정제중복 제거, 길이 조절 등행동 유도응답 형식/목표를 명확히 지시 (Instruction Prompting) ✅ 2. 프롬프트 구성 전략📌 기본 구조 예시:[사용자 질문] - 대한민국 대통령은 누구입니까? [문서 .. 2025. 7. 11.
반응형

티스토리툴바