온라인 고객 상담 지원과 제품 추천을 위한 에이전트·RAG 기반 어시스턴트 개발 총괄
01배경
- 삼성전자 오프라인 매장, 온라인몰, 상담원 채널에서 고객 문의에 일관되게 답하는 어시스턴트 구축 과제
문제
- 고객이 사용기와 가격은 외부 사이트에서 찾고 자사 채널은 구매 시점에만 방문하는 구조
- 비교·프로모션 질문에 즉답이 어렵고 배송·고장 문의는 전화 연결 지연으로 이탈해 매출 기회 손실
- 인지부터 재구매까지 고객 여정의 접점마다 답변 주체가 다른 단절된 경험
역할
- 약 30명 규모 프로젝트의 총괄 책임, 아키텍처 설계와 핵심 모듈 개발 리드
- 플랫폼 아키텍처, 18개 응대 시나리오, 데이터 모델, Admin 요구사항 정의, 오케스트레이터 파이프라인, Predefined 답변·가드레일 모듈, 프롬프트 템플릿 직접 개발
접근
- API 게이트웨이 뒤에 채널 독립적 플랫폼을 두어 채널·기능 추가 시 같은 모듈을 재사용하는 구조로 설계
- 단일 파이프라인 MVP에서 정형·비정형 조회 분리와 재순위화·가드레일 추가를 거쳐 병렬 구조로 3차에 걸쳐 아키텍처 개선
- 최종 버전에서 질의를 하위 질의로 분해해 정형·비정형·웹 검색을 병렬 실행하고 단순·정보형 질문을 분기 처리
- RAG 서비스 평가 체계 수립 및 Ragas 기반 평가 자동화
주요 결정
| 결정 | 이유 | 트레이드오프 |
|---|
| 단일 챗봇이 아닌 모듈 기반 플랫폼 | 채널·기능 확장 시 모듈을 재사용하고 Admin 페이지로 운영 이관 가능 | MVP 초기 속도 저하 |
| 직접 Text-to-SQL 대신 엔티티 매핑과 Pseudo Query | 추출한 엔티티를 코드와 View 스키마로 치환해 쿼리 검증과 보안 확보 | 신규 질의 유형마다 매핑 테이블 관리 필요 |
| LLM을 거치지 않는 Predefined 답변 | 인사, FAQ, 정책상 제한 답변을 테이블로 처리해 비용과 지연 절감 | 답변 유연성 감소, 테이블 유지 부담 |
아키텍처
| 계층 | 구성 요소 | 흐름 |
|---|
| 01 채널 | | →연결 02 API 게이트웨이 |
| 02 API 게이트웨이 | | →연결 03 오케스트레이터 |
| 03 오케스트레이터 | - 질의 재작성
- 의도 분류
- 엔티티 추출, 코드 매핑, Pseudo Query
- Predefined 답변, 가드레일
- 결과 병합, 답변 구성
| →연결 04 검색·저장소 · 병렬 조회→연결 05 LLM |
| 04 검색·저장소 | - 정형 데이터(PostgreSQL)
- 비정형 데이터(Azure AI Search)
- 웹 검색
- 로그, 캐시
| |
| 05 LLM | | |
| 06 Admin | | ↩되돌아감 03 오케스트레이터 |
성과
- 상담원이 개별 대응하던 문의를 18개 시나리오 자동 답변으로 전환, 온·오프라인 매장 운영 이관 완료
- 2차에서 3차 버전으로 평균 응답 시간을 10초에서 5초로 단축
- 자주 묻는 질문을 Predefined 답변으로 처리해 LLM 호출 비용 50% 절감