AICX: 마이리얼트립 고객상담 챗봇 도입기

안녕하세요. AICX 프로덕트팀의 Product Engineer 이승현입니다.
AICX는 인공지능(AI)를 통해 기업 운영의 반복 업무를 자동화하고 고객 경험(CX)을 혁신하는 미션을 가진 마이리얼트립의 자회사이며, 저는 AI 챗봇을 개발하여 고객상담 부문을 개선하고 있습니다. [AICX 바로가기]

여행 산업은 수많은 변수를 가진 복잡한 영역입니다. 항공권 규정, 호텔 예약, 일정 변경, 환불 등 고객 문의의 패턴은 다양하고 예외가 많습니다.
또한 명절이나 공휴일 같은 ‘놀러 가기 좋은 날’이 오면 문의량은 폭증합니다.
AICX는 이런 복잡하고 반복적인 고객 문의를 빠르고 효율적으로 처리하기 위해 챗봇 도입을 결정했습니다.

챗봇의 목적은 단순히 ‘사람 대신 대답하는 것’이 아니었습니다.
AICX가 바라본 챗봇은 다음과 같았습니다.

• 운영 효율을 높이는 동시에,
• 고객에게 더 빠르고 일관된 경험을 제공하며,
• 유의미한 데이터를 축적하고 분석하는 시스템

이를 위해 저희는 AI가 사람을 대체하는 것이 아니라, 사람이 더 창의적인 일에 집중할 수 있도록 돕는 파트너십 구조를 만드는 것을 목표로 삼았습니다.

회원 수 1,000만 명의 마이리얼트립은 투어, 항공 그리고 숙박 등의 다양한 버티컬에서 매일 수많은 채팅 문의가 들어옵니다.

도입 초기에는 고객 경험을 해치지 않기 위해 챗봇이 처리할 수 있는 문의 유형을 세분화하고 적은 범위의 핵심 케이스부터 커버하는 방식으로 시작했습니다.
즉, 챗봇이 완벽히 답변할 수 있는 영역부터 안정적으로 자동화하며 점차 확장해 나간 것입니다. 이 전략 덕분에 초기 품질을 유지하면서도 사용자 만족도를 떨어뜨리지 않을 수 있었습니다.

저희 팀은 챗봇 응대 안정성을 확보한 이후 더욱 빠른 챗봇 커버리지 확대를 위해 2주 단위의 스프린트와 AWS QuickSight를 활용하여 AI로 분석한 문의량, 대화 길이, 이탈 구간 등을 시각화하여 분석하였고 이를 바탕으로 개선 리스트를 만들어 우선 순위에 따라 짧은 주기로 배포를 진행하였습니다.

그 결과 처음 5%도 안되던 챗봇 응답 비율이 지금은 80%를 넘어섰습니다

현재는 이러한 경험이 쌓이면서 저희 팀은 챗봇 구축과 개선을 빠르게 반복할 수 있는 노하우가 형성되었습니다.

물론 그 과정은 결코 단순하지 않았습니다. 저는 그래서 챗봇을 개발하면서 겪었던 여러 시행착오를 이어서 기록해보려합니다

유저는 채팅을 ‘한 번에’ 보내지 않습니다

대부분의 사용자는 메시지를 잘 정리된 하나의 문장으로 보내지 않습니다.
실제 대화하듯 여러 개의 짧은 메시지로 나누어 전송합니다.
따라서 챗봇은 하나의 긴 문맥을 여러 메시지로 나뉘어 이해할 수 있어야 했습니다.

AICX의 초기 챗봇은 기존 채팅 상담 UI에 새 챗봇 엔진을 연동하는 방식으로 구축되었습니다. 이 구조에서는 기존 UI의 ‘제한 없는 메시지 전송’ 기능을 그대로 지원하면서도 각 메시지의 연속성을 인식해야 했습니다.

이를 위해 새로운 메시지가 도착할 때마다 이전 대화를 저장하고 이어서 문맥을 복원하는 Interrupt Handling 로직을 개발했습니다.
덕분에 사용자는 기존 상담 경험을 그대로 유지하면서도, 더 자연스러운 AI 대화를 경험할 수 있었습니다.

상담원 핸드오버와 세심한 대응

아무리 정교한 모델이라도 모든 상황에 완벽히 대응할 수는 없습니다.
특히 상품 공급사에 직접 확인이 필요한 문의나 복잡한 정책이 있는 문의의 경우에는 챗봇이 스스로 “이건 인간 상담원이 도와야 한다”라고 판단해 자동으로 인계하도록 설계했습니다.

예를 들어, 단순한 항공권 일정 조회나 결제 문의, 상품 문의는 챗봇이 처리하지만, 고객 불만, 환불 분쟁, 혹은 여러 상품이 엮인 복잡한 요청은 상담원에게 자연스럽게 넘겨주는 로직을 추가했습니다.

또한, 단순히 대화를 넘기는 데 그치지 않고 핸드오버 시점에 내부 요약 기능을 함께 구현했습니다. 챗봇은 지금까지의 대화 맥락과 핵심 문의 요점을 자동으로 정리해 상담원에게 전달합니다.
이를 통해 상담원은 대화 내용을 처음부터 다시 확인할 필요 없이 핵심만 빠르게 파악하고 고객에게 바로 대응할 수 있습니다.

이 기능을 통해 고객은 단절 없는 경험을, 상담원은 맥락이 유지된 상태에서 효율적으로 대화를 이어갈 수 있었습니다.

챗봇의 ‘3초 딜레이’ 실험

챗봇은 빠른 응답이 장점이지만, 너무 즉각적인 답변은 오히려 기계적인 인상을 줄 수 있습니다.
이에 저희는 챗봇의 첫 응답에 3초의 지연 시간을 추가하는 실험을 진행했습니다.
초반에는 사용자가 답이 느리다고 느껴 부정적인 반응을 보였지만,
이후 사용자 기대치와 문맥에 맞게 타이밍을 조정하며 가장 자연스럽게 느껴지는 대기 시간을 찾아냈습니다.
이 작은 조정만으로도 챗봇의 대화 만족도가 눈에 띄게 향상되었습니다.

정교한 프롬프트 가이드라인

LLM 챗봇의 품질은 프롬프트 한 줄로도 크게 달라집니다.
AICX 챗봇팀은 주기적인 스터디와 공유 세션을 통해 효과적인 프롬프트 구조를 지속적으로 탐구했습니다.
LangChain/LangGraph와 여러 모범 프롬프트 사례를 스터디하며 다양한 모델의 프롬프트 구조를 분석했고, 마이리얼트립 환경에 최적화된 프롬프트를 만들어냈습니다.

그 결과, 모델의 환각(Hallucination) 빈도가 점차 줄어들었고,
사용자의 질문 의도를 더 정확히 파악하는 챗봇으로 진화할 수 있었습니다.
또한 프롬프트를 코드처럼 버전 관리하며 “어떤 수정이 어떤 개선을 만들었는가”를 추적할 수 있게 되었습니다.

또한 이런 프롬프트를 효과적으로 생성/관리하기 위해 저희 팀은 내부적으로 프롬프트 가이드라인을 정의했습니다. 이 가이드는 프롬프트 작성 시 지켜야 할 문체, 금지어, 문맥 구조, 포맷 등을 명확히 규정하고 있습니다.

더 나아가 GPT 기반 프롬프트 생성 도구를 자체 개발하여,
누구나 손쉽게 일관된 품질의 프롬프트를 생성하고 테스트할 수 있도록 했습니다. 이 도구는 새로운 챗봇 기능을 빠르게 실험하고 배포하는 데 큰 도움이 되었습니다.

앞으로의 방향성

기업이 챗봇을 도입할 때 가장 많이 고려하는 세 가지 요소는 다음과 같습니다.

• 얼마나 빠르게 도입할 수 있는가
• 얼마나 저렴하게 구축할 수 있는가
• 얼마나 쉽게 운영할 수 있는가

물론 그 무엇보다 중요한 것은 응답의 정확도입니다.

AICX의 챗봇은 이제 마이리얼트립을 넘어,
다른 기업들도 손쉽게 도입할 수 있는 범용형 챗봇 플랫폼으로 발전하고자 합니다.

저희가 만드는 챗봇은 단순한 자동응답 도구가 아닙니다.
운영 효율성과 고객 경험을 동시에 개선하는 AI 운영 인프라의 핵심 축이 될 것입니다.

이 변화는 이미 고객의 피드백에서도 확인할 수 있습니다.
실제 여행자분들은 다음과 같은 후기를 남겨주셨습니다.

• “친절히 원하는 문의를 답변받았습니다. 감사합니다♥️”
• “늦은 시간에도 빠른답변을 받을수있는게 너무 좋았습니다”
• “질문의 요지를 빠르고 정확하게 파악하고 답변주셨어요.”
• “친절해서 좋습니다”
• “ai일 거라고 생각지도 못했는데, 원하는 답변을 줘서 좋습니다.”

이 짧은 문장들 속에는 저희가 지향하는 목표가 분명히 드러나 있습니다.

정확하고 신뢰할 수 있으며,

다양한 환경에서도 안정적으로 작동하는 AI 플랫폼

이것이 AICX 챗봇이 나아가야 할 방향입니다.

앞으로도 저희 AICX 팀은 더 정교한 기술과 더 나은 대화 경험을 만들어가기 위해 끊임없이 실험할 것입니다.

운영의 효율을 높이고, 고객 응대 품질을 혁신하는 챗봇으로 성장하는 저희의 다음 여정을 기대해주세요 🎉