Azure 기반 외부 지식 자동 수집 파이프라인
사내 서비스 포탈과 SharePoint의 문서를 사람 개입 없이 RAG 지식베이스로 자동 지식화하는 이벤트 기반 백엔드
사내 서비스 포탈과 SharePoint에 흩어진 문서를 RAG 지식으로 모으기 위해, Azure Logic Apps → Blob Storage → App Service API로 이어지는 이벤트 기반 인제스트 파이프라인을 구성했습니다. 각 소스의 문서 변경 이벤트를 Logic Apps가 받아 Azure App Service에 배포한 임베딩·인제스트 API를 호출하고, 유형별 파싱·청킹·임베딩을 거쳐 Vector DB에 반영하며, 기존 인덱스는 신규 처리 성공 이후에만 교체하는 안전 교체 인덱싱으로 데이터 유실을 막았습니다.
Backend · Cloud Infra
Azure Logic Apps · Blob Storage · Azure App Service
임팩트
- 사내 서비스 포탈·SharePoint의 문서 변경을 사람 개입 없이 RAG 지식베이스에 자동 반영
- 안전 교체 인덱싱과 재시도·오류 처리로 재인덱싱 중 데이터 유실·장애 전파를 차단
문제 해결 과정
사내 서비스 포탈과 SharePoint에 흩어진 문서를 RAG에 쓰려면 매번 사람이 내려받고 추출·청킹·임베딩해야 했고, 문서가 수정될 때 기존 벡터를 안전하게 교체하지 않으면 옛 내용과 새 내용이 섞였습니다. 그래서 무거운 파싱·임베딩·저장 처리를 Azure App Service에 API로 배포하고, 각 소스의 변경을 감지한 Logic Apps가 Blob을 거쳐 이 API를 호출하도록 구성해 수집을 자동화했습니다. 문서 유형별 라우팅, 토큰 한도 재검증, 외부 의존성(document parser/OpenAI/Vector DB) 오류의 도메인 분류, 기존 인덱스를 신규 처리 성공 후에만 교체하는 전략으로 운영 중에도 안전하게 지식을 확장할 수 있게 했습니다.