← Work로 돌아가기
생성형 AI(K-Bot) 문서 유형별 파싱·청킹 파이프라인
문서 유형별로 파싱·청킹·임베딩 전략을 분리해 RAG 검색 품질을 끌어올린 전처리 시스템
모든 문서를 하나의 텍스트 처리 경로로 보내면서 PDF 페이지 정보, 슬라이드 구조, 여러 페이지에 걸친 표가 사라졌고 검색 결과의 문맥도 함께 약해졌습니다.
02 / Constraints
기존 업로드 API와 사용자 흐름을 유지해야 했습니다.
PDF·DOCX·PPT/PPTX·Excel·텍스트의 구조 차이를 한 파이프라인 안에서 수용해야 했습니다.
페이지·슬라이드·시트 단위 출처를 검색 이후까지 보존해야 했습니다.
03 / Decisions & approach
문서 유형별 라우팅
파일 유형과 사용 목적에 따라 파서와 청킹 전략을 선택하도록 진입 경로를 분리했습니다.
구조 보존 청킹
제목과 레이아웃 정보를 기준으로 의미 단위를 만들고, 여러 페이지에 걸친 표는 하나의 검색 단위로 병합했습니다.
출처를 데이터로 유지
페이지·슬라이드·시트 위치를 청크 메타데이터로 저장해 검색 이후에도 근거를 추적할 수 있게 했습니다.
04 / System flow
문서 처리 흐름
동일한 업로드 진입점 뒤에서 문서 특성에 맞는 전략을 선택합니다.
-
Upload
-
Route
-
Parse
-
Chunk
-
Index
05 / Outcome
- 표·슬라이드·페이지 문서가 각 구조에 맞는 검색 단위로 변환됐습니다.
- 새 문서 유형은 업로드 흐름을 바꾸지 않고 전략만 추가할 수 있게 됐습니다.
검색 품질은 임베딩 모델보다 먼저, 원문 구조를 얼마나 잃지 않는지에서 갈립니다.