개요
- 일시 : 2024.09.05 오전 10시
- 장소 : 오토에버 엣지 회의실
- 참석 인원
- 슈어 : 최경화, 권민혁, 정재룡, 원격(조준래, 오병욱(영업))
- 오토에버 : 허민오, 이재영, 정환석
- 회의 내용
내용
수요가 많은(14개) 챗봇 서비스를 플랫폼화 하여 해결
- 기아 AICC (contact center) 상담원 ← 플랫폼 우선 적용
- 글로벌 기아 홈페이지 챗봇
- HMC 콜센터 보이스봇 기능
- RAG 성 챗봇도 다양하게 있음(대내용)
챗봇플랫폼으로 해결
- 레거시 정보(회원 정보, 기아닷컴 등) ←→챗봇플랫폼 (에이전트)
고민
두가지 사용 모델
- 챗봇
- 기아 & 현대에서 준 요구사항은 무엇인가?
- 요구사항은 일반적인 챗봇 요구사항
- ROI 를 주요하게 볼 것으로 판단됨
- Safety 측면의 고민이 있음
- 이상한 입력이 있을것, 적대적 공격등도 우려됨
- 할루시네이션이 없어야 함(약간은 틀려도 괜찮음)
- 인텐트 분류 ← 핵심
- 내부의 에이전트(GPT Function 이나 라이브러리 연계, LLM) 를 선택하는 핵심 컴포넌트
- 일반적인 성능을 측정할 수 있는 메트릭이 도출되길 희망함(왜냐면, 챗봇 플랫폼이므로)
- 범용적이냐를 판단할 수 있는 메트릭 (역주. 챗봇 플랫폼에 어울리는 메트릭)
- DST ← 벤치마크 세트, 한국어 없고, 업데이트가 없고 (Multi-WOZ - Intent, 멀티 턴) 충분치 않다고 판단함, 이걸 확장 개발하는게 의미 있다고 생각함
- 데이터에 대한 검증은 내부에서 알아서 진행할 예정 → 정제, 증강
- 공개된 데이터를 이용
- 바이어스 평가등은 불필요할 것으로 생각함, Intent 모델이므로…(역주. 이걸 학습하겠다는 의미 같음)
- 내부 시스템에 AI 활용
- 내부 AI 활용시 고민점 (생산성 향상, 미션크리티컬, 정확도)
- 정확하고 분명한 정보 전달이 필요(하나라도 틀리면 쓸 수 없음)
- 보안이슈 (기밀성 우려)
- 특화 데이터 (도메인 지식이 필요함)
- 레드티밍: 내부에서 사용할 예정이므로 제한됨
- 벤치마크 만들기 ← 도메인 특화(역시 도메인 지식이 필요할 것임)
- 평가 방법도 모르겠다 ← 나도 모르겠다.
- 역주) 100% 정답을 낼 수 있는 범위를 식별, 시스템에서 Indicator 를 달아줄 수 있지 않을까?