AICX: Claude Code와 Antrophic Batch API를 활용하여 고객 채팅 상담 분석하기

고객 상담 창구는 고객 경험이 직접 드러나는 자리입니다.
매일 수많은 대화가 오가며, 그 안에는 불만, 요청, 개선 아이디어, 브랜드에 대한 인식이 모두 담겨 있습니다. 그러나 이 데이터를 제대로 분석하는 일은 생각보다 쉽지 않습니다.

AICX에서는 그동안 여러 방식으로 상담 데이터를 분류·분석해 왔지만, 실제 운영 과정에서 한계가 명확히 드러났습니다. 아래는 기존 접근 방식과 그 과정에서 확인된 대표적인 문제들입니다.

(1) 채팅 워크플로우를 통한 1~2단계 문의유형 자동 매핑 방식

• 현재 AICX에서는 채팅 상담에서 고객이 선택한 버튼에 따라 1~2단계의 문의유형이 자동으로 매핑됩니다. 하지만 실제 문의 내용과 선택지가 달라 통계 데이터가 왜곡되는 사례가 자주 발생했습니다.

(2) 상담 종료 후 상담사의 3단계 태깅

• 고객 피로도를 줄이기 위해 3단계 세부 유형은 워크플로우에 녹이지 않고 상담원이 상담 종료 후 직접 선택하게 했습니다. 그러나 유형이 너무 많아 찾는데 시간이 오래 걸리고, 태그를 누락한 채 종료하는 경우도 많았습니다. 이를 운영으로 개선하려고 여러 시도를 하였지만 완전히 해결되지는 않았습니다.

(3) 외부 분석 솔루션 사용에서의 한계

• 한때 외부 문의유형 분석 솔루션을 도입해 자동화를 시도했지만, 월 2명 이상의 상담 인건비에 상당하는 비용이 발생했습니다.
  그마저도 고객 감정 점수나 신속 상담 필요 여부처럼 꼭 필요한 정보는 제대로 얻기 어려웠습니다. 게다가 정의되지 않은 새로운 유형이 계속 생성돼 기존 라벨 체계가 뒤섞였고, 한 유형에 단 한 건의 상담만 매핑되는 비효율적인 데이터 구조가 반복적으로 발생했습니다.

(4) 긴급 케어가 필요한 상담 탐지 불가

• 신속한 후속 케어가 필요한 상황을 구분할 수 없다보니 대응 타이밍을 놓치는 경우가 발생했습니다.

(5) 품질·감정 분석의 부재

• 상담 품질을 정량적으로 평가하거나, 고객 감정을 점수화할 수 없었습니다. 결국 “상담사들이 잘 하고 있는가?”라는 질문에 데이터 기반 답변이 어려웠습니다.

저는 이러한 문제는 AI가 잘 해결할 수 있는 영역이라고 판단했고 Claude Code를 활용해 대화 내용을 분석하여 문의 유형을 분류하는 작은 실험부터 시작해, 단계적으로 발전시킨 과정을 이번 글에서 공유하려고 합니다.

참고로, 이번 분석에는 실제 운영 데이터가 아닌 테스트 데이터를 사용해 적용 가능성을 검토하였습니다.

🧠 테스트: Node.js 스크립트를 통한 문의유형 분석

AI가 문의유형을 얼마나 정확하게 분류할 수 있는지, 그리고 비용이 어느 정도인지를 먼저 파악하기 위해 간단한 요구사항을 Claude Code에 전달했습니다.

Claude Code는 요구사항을 바탕으로 Todo 리스트를 만들고, 하나씩 해결했습니다.

필요한 값을 .env에 넣고 실행하니, 오류 없이 원하는 동작을 수행했습니다. 이 과정은 약 6분 30초 만에 완료되었습니다.

저는 해당 테스트를 토대로 다음 결과들을 도출할 수 있었습니다.

• 문의 유형 분류는 예상했던대로 잘 수행하였습니다. Sonnet과 Haiku 모두 테스트해보았고 큰 성능 차이는 느끼지 못했습니다.
• 토큰 수는 문의유형을 전부 넣는 방식으로 진행하다보니 Input이 6500~7000토큰, Output은 600토큰 정도 되었습니다.
• 이를 토대로 클로드 실시간 API를 활용하여 2025년에 생성된 채팅 상담내역 40만건을 모두 분석한다고 했을 때 비용은 Sonnet 사용 시 1,000건당 30달러로 12,000달러(약 1,670만원), Haiku 사용 시 1,000건당 8달러로 3,200달러(약 450만원) 정도의 비용을 사용해야한다는 결과가 나왔습니다.

Sonnet은 금액 도출 결과를 봤을 때 조금 과하다는 생각이 들었고(ㅎㅎ) Haiku는 저 정도 금액을 투자하여 문의유형 통계를 만들어내는 것은 가치가 있다고 판단했지만 좀 더 비용을 절약할 수 있는 방법이 있지 않을까 고민이 되었습니다.

그러다 Anthropic API Pricing 페이지에서 Batch API를 사용하면 비용을 50% 절감할 수 있다는 점을 발견하였고, 공식 홈페이지에 소개된 Batch API 설명을 보니, 이번 프로젝트의 목적과 정확히 맞아떨어진다고 느꼈습니다.

Anthropic Batch API를 사용하여 문의유형을 분석하면 Haiku 모델 실시간 API 사용 비용의 50%인 1,600달러(약 223만원)에 25년도 전체 채팅 상담 내역을 분석할 수 있다는 계산이 나왔습니다.

🚀 Batch API로의 전환과 Next.js를 활용한 관리 화면 구축

Batch API는 분석 요청을 배열로 묶어 전송하면 비동기적으로 처리합니다. 요청 API를 전송하면 Batch Job이 등록되고, 최대 24시간 이내에 완료됩니다. API로 Job 상태를 조회·취소할 수 있고, 완료 후 결과를 내려받아 후처리할 수 있습니다.

저는 해당 과정을 더 편하게 관리하기위해 (그리고 Claude Code를 계속 테스트 해보기 위해) Next.js 기반 웹 관리 화면을 요청 하였습니다. (아래 내용은 Claude History Viewer를 통해 실제로 입력한 내용을 캡쳐하였습니다.)

이번 웹사이트 제작 요청은 10분 정도 시간이 소요되었습니다. 사이트를 직접 확인하고 몇가지 사항을 추가로 요청하였습니다.

내용을 확인하고 5~6번의 수정 요청을 반복했고, 처음 요청한 시점으로부터 약 50분 정도 지난 시점에 원하는 기능이 모두 담긴 웹사이트가 완성되었습니다.

[기능]

• 좌측에서 분석 팀(항공/비항공) 선택
• 날짜 또는 개수 기반 배치 생성
• 우측 목록에서 상태 확인, 취소, 결과 저장 가능
• Job이 완성되면 결과 저장 버튼을 통해 결과를 처리하여 DB에 저장

Batch API를 통해 등록한 Job은 Anthropic Console에서도 확인 가능합니다. 해당 화면에서도 Batch Job 상태확인, 취소, 결과 다운로드가 가능합니다.

공식 문서에서 Batch Job은 24시간 이내에 처리된다고 되어있지만 여러 번 배치를 생성해본 결과 대부분 10분 전후로 작업이 완료되는 것을 확인할 수 있었습니다.

Batch 결과 파일은 완료 시점으로부터 29일간 접근가능하며 jsonl 파일로 다운로드됩니다. 예시 결과는 아래와 같습니다.

📊 문의 유형 시각화

이렇게 분류된 문의 내용은 AWS Quicksight를 활용하여 시각화를 진행하였습니다.

• 대분류~소분류별 비중·개수 확인
• 신속 상담 필요 건수·비율 추적
• 각 유형·클레임별 분석 사유와 상담 내역 바로가기 제공

🔮 Next: 향후 적용 방향

Batch API 기반 상담 분석 파이프라인이 안정화된 후, 다음 단계의 고도화를 계획하고 있습니다.

1. 마스킹 처리 과정 설계

실제 채팅 상담 데이터를 분석에 적용할 수 있도록, 개인정보를 자동 식별·마스킹하는 전처리 과정을 설계해 안전하게 활용할 계획입니다.

2. 신속 상담 필요 케이스 실시간 분석

배치 처리와 별도로 실시간 패턴 탐지·알림 기능을 추가해 긴급 대응 가능하도록 개선할 예정입니다.

3. 배치 및 후처리 완전 자동화

종료된 채팅 상담 내역을 자동으로 Batch Job에 등록하고, Job의 상태가 완료되면 후처리 파이프라인이 자동으로 실행되도록 고도화할 예정입니다.

4. 분석된 문의유형 처리

분석 결과로 생성된 문의유형은 마이리얼트립 각 버티컬의 주기적인 VOC 미팅에서 핵심 자료로 활용되며, 각 팀이 로드맵을 수립하는 데 기반 자료로 사용될 수 있도록 지원할 예정입니다. 또한 ‘기타’로 분류된 유형은 정기적으로 검토해 새로운 유형을 추가하고, 사용되지 않는 항목은 삭제하여 최신화된 데이터 체계를 유지할 예정입니다.

함께 이야기 나누고 싶은 분들께,

혹시 이 글을 읽으며 이런 생각을 하셨나요?

• “문의유형 체계를 만들었지만, 데이터 정확도가 낮아 분석이 어렵다”
• “상담사 태깅 누락이나 분류 일관성 부족이 계속 문제다”
• “고객 감정을 데이터로 추적하고 싶다”
• “AI로 분류·분석을 자동화하고 싶은데 어디서부터 시작해야 할지 모르겠다”

그렇다면 저희와 이야기를 나눠보세요.
📧 contact@aicx.kr 로 언제든 연락 주시면, AICX가 실제 프로젝트에서 경험한 접근 방식과 해결 방법을 공유해드리겠습니다.

AICX에서는 AI를 활용해 고객 상담 데이터 분석을 혁신하고 싶은 분, 실제 서비스 운영 현장에서 AI 자동화를 설계·구축하고 싶은 분을 기다립니다.
AICX는 “AI와 함께 일하는 운영 조직”을 만들고 있으며, 같은 비전을 가진 동료와 함께 성장하고 싶습니다.