Text-to-SQL과 에이전트로 SCM 데이터를 분석하고 계획 담당자의 일상 업무를 지원하는 LLM 서비스 개발 총괄
01배경
- 삼성전자 SCM 조직의 계획 담당자가 자연어로 SCM 데이터를 조회하고 업무 가이드를 받을 수 있는 서비스 구축 과제
문제
- 단순한 데이터 질문도 SQL과 테이블 구조를 아는 담당자를 거쳐야 하는 조회 구조
- 문서와 개인 경험에 흩어진 업무 노하우
- 뉴스, 금융 지수, 운송 정보 등 외부 시황 정보의 수작업 수집으로 원인 분석 지연
역할
- 7명 규모 프로젝트 총괄, 서비스 아키텍처, 에이전트 역할 정의와 연계, 워크플로우 설계 담당
- 데이터 조회 에이전트 파이프라인과 sLLM 파인튜닝 데이터셋·학습 스크립트 직접 개발, 개발·운영 환경 구성과 CI/CD 브랜치 전략 수립
접근
- 착수 시 평가셋 기준 SQL 생성 정확도 95%를 성공 기준으로 합의
- 질의 재작성, 라우팅, 답변 구성을 맡는 오케스트레이터가 데이터 조회·분석, 업무 지원(AI Advisor), 외부 정보 조회의 3개 에이전트를 A2A로 연계하는 구조 설계
- View 식별, 엔티티 추출, 코드 매핑, Pseudo Query 생성 후 BI 엔진이 최종 쿼리로 변환하는 데이터 조회 파이프라인 구축
- 범용 LLM 프롬프트로는 엔티티 코드 혼동이 발생해 Qwen 8B sLLM을 추출·Text-to-SQL용으로 파인튜닝, 학습 서버와 추론 서버 분리
주요 결정
| 결정 | 이유 | 트레이드오프 |
|---|
| 직접 SQL 대신 Pseudo Query | BI 엔진이 구조화된 Pseudo Query를 SQL로 변환해 운영 DB 직접 접근을 막고 실행 전 쿼리 검증 가능 | 조회 범위가 BI 엔진의 표현 범위에 종속 |
| SQL용·생성용 모델 분리 | 파인튜닝 가능한 Qwen 8B sLLM이 Text-to-SQL을 맡아 정확도와 비용 확보, 답변 생성은 Llama 3.1 70B 담당 | 모델 2종의 서빙·운영 부담 |
| 개발계 자동 배포, 운영계 수동 배포 | 개발계는 CI/CD 자동 배포, 운영계는 PR 검토 후 반영해 개발 속도와 운영 안정성 분리 | 운영 반영 리드타임 증가 |
아키텍처
| 계층 | 구성 요소 | 흐름 |
|---|
| 01 사용자 | | →연결 02 오케스트레이터 |
| 02 오케스트레이터 | | →연결 03 에이전트 · A2A |
| 03 에이전트 | - 데이터 조회: View 식별, 엔티티 추출, 코드 매핑, Pseudo Query
- 업무 지원(AI Advisor): 검색, 재순위화, 생성
- 외부 정보 조회: 검색, 후처리
| →연결 04 모델→연결 05 데이터 |
| 04 모델 | - Text-to-SQL용 Qwen 8B sLLM(파인튜닝)
- 생성용 Llama 3.1 70B
- vLLM 서빙
| |
| 05 데이터 | - BI 엔진, SCM DB
- 업무 가이드 벡터 DB
- 외부 시황 데이터
| |
성과
- 평가셋 기준 SQL 생성 정확도 95% 이상 달성
- 담당자 의뢰 후 회신을 기다리던 데이터 조회를 자연어 즉시 조회와 차트 제공으로 전환
- 시스템 직접 연계와 실시간 외부 데이터 활용으로 확장하는 2단계 고도화 수주