프로젝트 목록으로
AI case
LangChainDocument parserEmbeddings
생성형 AI(K-Bot) · 영림원 AIBackend 2025.11 ~ 2026.02
생성형 AI(K-Bot) 문서 유형별 파싱·청킹 파이프라인
문서 유형별로 파싱·청킹·임베딩 전략을 분리해 RAG 검색 품질을 끌어올린 전처리 시스템
모든 문서를 동일하게 처리하던 구조에서 벗어나, PDF·DOCX·PPT/PPTX·Excel·텍스트를 각 구조에 맞는 경로로 처리하도록 재설계했습니다. 표·이미지 문서는 document parser로 레이아웃을 분석하고, 페이지·슬라이드·시트 단위 출처를 보존해 검색 가능한 지식 단위로 변환합니다.
역할
Backend · AI/RAG
스택
LangChain · Document parser · Embeddings
임팩트
- 문서 유형과 사용 목적에 따라 전처리 경로를 분리하는 RAG 문서 처리 구조 설계
문제 해결 과정
단일 처리 방식에서는 PDF 페이지 정보가 사라지고, 슬라이드가 일반 텍스트처럼 뭉개지고, 여러 페이지에 걸친 표가 끊겨 검색 품질이 떨어졌습니다. 그래서 전처리를 "문서 특성별 전략 선택" 구조로 재설계하고, 표·이미지 문서는 document parser로 구조 정보를 받아 제목 기반 의미 청킹과 표 병합을 적용했습니다. 그 결과 표·슬라이드·페이지 문서가 검색에서 자연스럽게 활용되고, 새 문서 유형은 기존 업로드 흐름을 건드리지 않고 전략만 추가하면 되는 확장 구조를 갖췄습니다.
핵심 포인트
문서 유형별 파싱·청킹 전략 라우팅document parser 기반 레이아웃·표·도형 분석페이지를 넘나드는 표 병합