AI 챗봇 비교 중이라면? 채널톡 ALF가 더 정확할 수밖에 없는 5가지 이유

채널톡 AI, 뭐가 다른가요?

이제 세상에는 정말 다양한 AI 챗봇 서비스가 존재합니다. 하지만 여전히 많은 사람들이 생성형 AI에게 실무를 맡기는 데 불안함을 느낍니다. 특히나 브랜드의 최전선에서 고객을 만나는 CS 업무에 AI 챗봇을 도입하려 한다면 신중할 수밖에 없습니다. 그래서 채널팀은 안심하고 고객 상담을 맡길 수 있을 정도로 정확한 AI 챗봇, AI 에이전트 ALF를 만들었어요. 이번 포스팅에서는 과연 ALF가 다른 AI 챗봇과 어떻게 다른지 설명해 보려 합니다.

채널톡의 ALF는 2024년 11월 정식 출시되어, 지금까지 벌써 1000개 넘는 고객사에서 도입한 AI 에이전트입니다. 이랜드이츠, 베리시, 온누리스토어, VT코스메틱, 제너럴아이디어 등 다양한 업종과 규모의 기업에서 활발하게 사용하고 있죠. ALF는 인입된 상담 중 평균 43%를 상담사 연결 없이 해결하는 우수한 성과를 보이고 있습니다.

그렇다면 과연, ALF는 다른 AI 챗봇 서비스들과 어떻게 다른 걸까요? 어떻게 더 정확한 답변을 내놓는 걸까요? 채널톡 AI팀을 찾아가서 ALF와 다른 AI 챗봇을 비교했을 때 차이점을 물어보았습니다. 크게 다섯 가지로 나눌 수 있겠더라고요.

자 그런데 이렇게만 보면… 조금 무서운(?) 단어들이 많죠. 각각 어떤 내용인지 하나씩 (ALF 위주로!) 설명해 보겠습니다. 뼛속까지 문과인 제가 이해할 수 있는 말들로 표현해 보았으니까… 도망가지 말아 주세요 ^_^

1. 자체 벡터 검색 시스템 구축

채널톡 ALF는 자체 벡터 검색 시스템을 구축해서 빠르고 정확하게 정보를 검색할 수 있습니다.

그런데 벡터 검색…이 뭘까요?

그냥 AI 자체는 언어의 ‘의미’를 잘 이해하지 못합니다. 그래서 AI가 언어의 의미를 잘 이해하고 대답하게 하려면 사람의 말, 즉 ‘자연어’를 AI가 이해할 수 있는 형태의 숫자 데이터로 만드는 과정이 필요해요. 벡터(vector)란 바로 ‘AI가 이해할 수 있는 형태의 숫자 데이터’입니다.

자연어가 어떻게 숫자 데이터로 표현되는지 예시를 한번 볼까요? 중요한 건 단어들 사이의 관계가 표현되는 겁니다. 비슷한 성질의 데이터끼리는 거리가 가깝고, 다른 데이터끼리는 멀게 말이죠. 아래 이미지처럼 man, woman, king, queen 네 개의 단어를 아래와 같은 숫자 데이터로 표현한다면, 같은 성별끼리는 가깝게, 같은 신분(혹은 분류)끼리는 가깝게 표현이 가능합니다.

이렇게 벡터 데이터들에 기반한 ‘벡터 검색’을 하면 겉보기에는 달라도 실제로는 같은 의미인 텍스트들을 찾아낼 수 있습니다. 예를 들어서 서로 다른 두 고객이 각각 아래와 같은 문의를 했다고 쳐 볼까요.

고객 A: “제품 언제쯤 받아볼 수 있나요?”

고객 B: “오늘 주문했는데, 배송 일정 궁금합니다.”

겉으로 보기에는 전혀 다른 단어로 된 말들이지만, 사실 이 두 명의 고객들이 궁금한 건 ‘제품의 배송 일정’으로 동일합니다. 이런 문장들이 사실 같은 의미라는 걸 인식하고 같은 답변으로 응대한다면, 우리는 그 AI가 말을 참 똑똑하게 알아듣는다고 느끼겠죠. 이게 우리가 챗GPT와 같은 최근의 생성형 AI들이 ‘똑똑하다’고 느끼는 이유입니다.

자, 그렇다면 이렇게 벡터화하게 되는 텍스트 데이터로 무엇이 있을까요? 상담에 사용하는 AI 챗봇이라면 문의에 답변할 때 필요한 사용 가이드나 답변 매뉴얼, ‘자주 묻는 질문’이 그 데이터가 되겠죠. 이 텍스트 데이터들은 보통 너무 길기 때문에 더 작은 단위로 나누는 과정, ‘청킹(chunking)’이 필요합니다.

AI가 데이터를 잘 검색하고 대답하려면 이 ‘청킹’, 그러니까 데이터를 적절한 곳에서 잘 자르는 것이 중요한데요. 벡터 검색 시스템을 자체 구축하지 않으면 섬세한 청킹이 어렵습니다. 실제로 AWS, 구글 같은 빅테크 회사에서 벡터 검색 시스템을 제공하기도 하는데요. 이런 서드파티 시스템의 경우 모두에게 제공되는 서비스이기 때문에 ‘글자 수’와 같은 일괄적인 기준으로 청킹을 할 수밖에 없습니다. 심지어 문장이 끝나지 않았는데도 잘릴 수도 있겠죠.

하지만 채널톡 ALF는 ‘자체 벡터 검색 시스템’이 있기 때문에 채널톡 데이터에 최적화된 기준으로 데이터를 청킹할 수 있습니다. 고객이 채널톡에 입력해둔 데이터의 ‘구조’를 파악하는 일이 가능하기 때문인데요. 왜 데이터의 구조를 정확하게 파악할 수 있는 걸까요? 바로 고객이 채널톡 ‘도큐먼트’ 기능을 활용해서 데이터를 입력하게 되기 때문입니다.

이 이야기는 ALF의 두 번째 장점과도 깊은 관련이 있으니, 다음 항목으로 넘어가 볼까요?

2. 도큐먼트 구조를 파악한 답변 생성

채널톡에는 사용자가 문서를 입력할 수 있는 ‘도큐먼트’라는 기능이 있습니다. 노션 같은 에디터로 문서를 입력하고, 심지어 이 문서를 웹에 퍼블리싱해서 기업 블로그나 사용자 가이드로도 활용할 수 있는 기능인데요.

채널톡 ALF는 이 도큐먼트에 기록된 정보들을 순식간에 검색해서 고객에게 답변합니다. 이게 바로 ‘RAG(검색증강생성)’입니다. AI가 오픈북 테스트를 하듯 자료를 보고 대답하는 기능이라고 생각하면 되는데요. 이때 도큐먼트는 ALF를 위한 ‘지식 창고’인 셈입니다.

그런데 도큐먼트에 입력된 문서 데이터에는 메타 정보가 풍부하게 들어 있습니다. 보통 ‘메타 인지’라는 말 많이 쓰죠? 메타 정보라 함은 도큐먼트에 입력된 각 내용들이 ‘제목’인지, ‘표’인지, ‘이미지’인지 알아챌 수 있는, ‘데이터의 데이터’라고 이해하시면 됩니다.

예를 들어 본문 내 대제목이라면 ‘heading 1’ 태그가, 중제목에는 ‘heading 2’ 태그가 달려 있을 거고요. 표로 입력된 부분에는 ‘table’ 태그가 있을 겁니다. 이미지가 들어가 있다면 이것도 식별하기 쉽겠죠. 그렇다면 도큐먼트에 입력된 데이터들을 청킹할 때 이런 기준들을 적용해 볼 수 있을 겁니다.

“최소한 ‘Heading’ 태그를 기준으로 잘라야 의미적으로 분리되겠구나!”

“적어도 문장이 끝난 이후에 잘라야겠구나!”

“이미지가 들어 있다면 이미지 앞뒤 텍스트를 조금은 포함해서 잘라야겠구나!”

이런 기준이 반영된 벡터 검색 시스템으로 도큐먼트 속의 정보를 찾는다면 훨씬 정확하겠죠?

3. 이미지, 표 정보도 활용

ALF는 이미지를 데이터로 활용해 답변을 할 수 있습니다. 이미지 속에 있는 내용을 참고하는 것은 물론, 이미지 자체를 답변에 첨부할 수도 있는데요.

이 과정에서 이미지를 ‘이미지 캡셔닝’과 ‘OCR’을 활용해 텍스트 데이터로 바꾸는 과정을 거칩니다. 여기에 더해서, 이미지가 본문 내 어느 위치에 있는지, 이미지 앞뒤에 어떤 텍스트가 있는지까지 포함시켜서 활용하기 때문에 이미지 내용을 더 정확하게 파악해서 활용할 수 있어요!

(이미지 캡셔닝(Image Captioning): 이미지로 입력이 주어졌을 경우 이미지에 대한 묘사를 자연어의 형태로 생성해내는 머신러닝 분야의 과제.)

(OCR(Optical Character Recognition): 광학 문자 인식. 텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷으로 변환하는 과정.)

실제로 ALF가 베타 서비스를 하던 시기에 한 고객사와 성공사례 인터뷰를 진행했는데, 담당 팀장님이 ALF가 짤방 속 문구를 읽고 농담을 한다면서 매우 재밌어하셨던 기억이 납니다. 이렇게 초기부터 ALF는 고객이 보낸 이미지 속 ‘텍스트’를 읽을 수 있었어요.

여기서 더 나아가, 최근에는 ALF가 도큐먼트 속 이미지를 답변에 활용할 수 업데이트되었습니다. 예를 들어 등급별 혜택이 정리된 표나, 의류 세탁 주의점이 아이콘과 함께 표시된 이미지를 고객에게 줄 수 있게 되었죠. 심지어 이미지 속에 표기된 세부 텍스트까지 읽고 답변에 활용하기 때문에 사용자가 이미지 속 텍스트를 별도로 타이핑할 필요가 없습니다!

ALF는 이미지뿐 아니라 표 정보도 찰떡같이 활용합니다. 일을 하다 보면 여러 정보들을 엑셀에 표로 정리할 때가 많은데요. 이런 표 형태의 데이터를 도큐먼트에 입력해 두어도 ALF가 읽고 대답할 수 있습니다. 고객들에게 등급별 혜택을 안내하거나, 지점별 운영 시간을 안내하는 등 세부 케이스별 답변을 제공하는 데에 효과적이니 꼭 써 보시면 좋겠어요!

실제로 채널톡 고객사인 이랜드이츠(애슐리!)는 주요 오프라인 매장들의 운영 정보를 도큐먼트 표로 입력해서 ALF가 답변을 하도록 세팅했습니다. 이랜드이츠 ALF는 상담 해결률 45.2%라는 엄청난 성과를 보이기까지 했죠

4. 프롬프트 체이닝으로 정확도 향상

프롬프트 체이닝(prompt chaining)…?

조금 생소하죠? 괜찮습니다. 저도 이 글을 쓰기 전에는 몰랐던 말이에요.

ALF는 프롬프트 체이닝으로 정확도를 더욱 높였습니다. 좀더 구체적으로 설명하자면, GPT를 ‘상담에 적합한 구조’로 가져다 써서 더 정확한 대답이 나오도록 설계했다는 뜻입니다.

채널톡 ALF는 GPT를 기반으로 돌아가는 AI 에이전트입니다. GPT 자체는 많은 사람과 기업들이 사용하고 있는 LLM이죠. 그렇다면, 이 LLM을 ‘어떤 구조’로 가져다 쓰느냐가 GPT를 활용한 수많은 서비스들을 가르는 차별점일 겁니다.

이럴 때 사용하는 방법이 바로 ‘프롬프트 체이닝’입니다. 어떤 의미인지 차근차근 하나씩 짚어 볼까요.

우선 ‘프롬프트’란 AI에게 무언가를 요청하기 위해 사용하는 텍스트 기반의 명령어나 질문을 뜻합니다. 만약 챗GPT를 써 본 적 있다면 질문을 적어야 AI가 답변한다는 걸 아실 거예요. 이때 입력한 질문이 프롬프트입니다. 이때 질문을 AI가 이해하기 쉬운 형태로 잘 작성할수록 원하는 답변을 얻을 가능성이 높아집니다.

‘프롬프트 체이닝’이란 프롬프트를 연쇄적으로 사용한다는 뜻으로, LLM을 활용해 복잡한 문제를 해결할 때 사용하는 방식입니다. 위의 그림에서 볼 수 있듯 이전 단계에서 질문해서 얻은 결과를 다음 단계의 입력으로 연속적으로 사용하도록 구조를 짜는 거죠.

ALF에게 주어진 ‘복잡한 문제’는 바로 고객 상담입니다. 따라서 ALF가 프롬프트 체이닝을 사용한다는 의미는, ALF가 고객과 대화하는 각 단계에서 고객의 질문을 분류하거나, 생성된 답변을 스스로 검토하는 식의 단계별 시나리오가 짜여 있다는 뜻입니다.

그렇다면 ALF의 프롬프트 체이닝이 어떤 식인지, 아주 간단하게 살펴볼까요?

1. 라우팅: 고객이 말을 걸면 어떤 유형의 답변을 해야 하는지 판단해서 ‘라우팅(연결)’을 합니다.

   • 단순히 인사만 해도 되는가?

   • 커맨드를 활용해야 하는가?

   • FAQ를 활용해서 답변해야 하는 초 단순 문의인가?

   • RAG로 답변해야 하는 보다 개별화된 문의인가?

   • 혹은 상담원 연결을 해주어야 하는가!

2. 문의 요약: 만일 RAG로 답변을 해 주어야 하는 경우라면, 고객이 무엇을 궁금해하는지 문의 내용을 요약합니다.

3. 관련 내용 검색: 요약한 결과를 바탕으로 그에 필요한 내용을 검색해서 찾아오고요.

4. 결과 필터링: 검색된 결과 중에서 무엇이 쓸모있는 정보인지 필터링을 합니다.

5. 답변 생성: 필터링 결과를 토대로 답변 내용을 생성합니다.

6. 팩트 체크: 답변을 만든 다음에 근거를 찾고, 스스로 팩트 체크를 합니다.

(이해를 돕기 위해 간략하게 표현한 그림과 글이므로, 실제와 약간의 차이가 있을 수 있습니다!)

참고로 ALF에는 ‘맞춤형 설명’이라는 기능이 있습니다. ‘상담원 설명’, ‘정보 추가 요청’, ‘지식기반 답변’ 세 가지 칸에 설명을 입력하도록 되어 있는데요. 각각의 단계로 라우팅이 필요한 문의 유형이 무엇인지를 적으면 됩니다. 예를 들어서 ‘고객이 강한 불만을 표출한다면 꼭 상담원을 연결해줘!’라고 적으면 ALF가 화난 고객에게 혼자 답하려고 애쓰지 않고 바로 상담원 연결을 안내해 줄 수 있습니다.

또한 각 회사에서 많이 쓰이는 단어의 의미는 ‘용어 사전’에 정리해 두면 좋습니다. 예를 들어 채널톡이라고 하면 ‘오퍼레이터’, ‘워크플로우’, ‘미트’ 등 고유의 기능 명칭이 많기 때문에 이 기능에 대한 설명을 넣어둘 수 있겠죠! 용어 사전에 기입된 정보들은 ALF가 배경 지식을 이해하는 데에 보조적으로 활용됩니다.

이렇게 상황별로 무엇을 판단하는 데에 AI가 작동해야 하는지 섬세하게 설계하면 좀더 정확하게 답변을 할 수 있는데요. 채널톡에서는 우수한 AI 인력들이 팀을 꾸려 ALF의 프롬프트 체이닝 구조를 설계하고 있습니다  (네X버 출신 팀장님이라거나… 서X대 박사님이라든가…)

5. 팩트체크 모듈로 할루시네이션 최소화

위에서 간단하게 ALF의 프롬프트 체이닝이 어떤 식인지 설명하면서, ‘스스로 팩트 체크를 하는 단계’가 있다고 했죠. 이 부분은 따로 떼어서 추가로 설명을 해 보겠습니다. 생성형 AI의 맹점으로 꼽히는 할루시네이션(hallucination)을 방지하기 위한 단계거든요. 할루시네이션이란 생성형 AI가 거짓된 정보로 답변을 하는 현상을 말합니다.

만약 채널톡 ALF에 대해 자세하게 찾아본 적 있는 분들이라면, ‘팩트체크 모듈로 할루시네이션을 최소화했다’는 표현을 본 적이 있으실 겁니다. 사실 저는 위의 멘트를 정말 여러 번 봤음에도 이 글을 쓰면서 그 의미를 알게 됐습니다. (너무 어려워서 안 알려주는 줄 알았는데… 뭐, 그렇게 안 어렵던데요? ) 알고 보니까 프롬프트 체이닝의 단계 중 하나더라고요.

팩트체크 모듈이란, 간단하게 말하자면 AI가 만든 답변이 맞는지 AI가 판단하도록 하는 겁니다. ALF가 생성한 답변이 맞는지 판단할 수 있는 기준을 주고, 판단 결과 답변 내용이 기준에 모두 부합하면 답변을 내보내는 채점 단계가 있는 건데요. 기준에 부합하지 않을 경우 '해당 문의는 제가 해결해드릴 수 없어서 상담원을 연결해 드리겠다'라고 답변을 하게 되죠.

다만 이 대목에서 ‘과연 자기가 자기 답변을 채점하도록 해도 되는가…?’ 하는 의문이 들 수 있는데요. 알버지에 따르면(!) 생성보다는 채점이 더 쉬운 일이라고 합니다. 마치 누구나 요리를 잘하지는 못해도 맛 평가는 할 수 있는 것처럼 말이죠.

상담에 최적화된 AI란 이런 것

여기까지 읽느라 고생 많으셨습니다  (고객님에게 주어지는 완독 목걸이)

정리하자면, ALF는 고오급 인력들이 붙어서 상담에 적합한 구조로 대화하도록 설계한 동시에, 채널톡에 입력된 데이터의 구조를 파악해서 답변할 수 있기 때문에 더욱 정확한 AI 에이전트라는 사실!

결국 ALF는 ‘채널톡’을 기반으로 작동한다는 점에서 어떤 AI 서비스보다도 상담에 최적화되어 있다고 설명할 수 있을 것 같습니다. 단순히 ‘챗GPT를 붙인 거랑 뭐가 달라?’, 혹은 ‘다른 AI 챗봇이랑 뭐가 달라?’라고 생각하셨다면, 이 포스팅이 도움이 되시기를 바라요.

혹시 ALF가 실제로 CS 현장에서 어떤 성과를 냈는지 궁금해지셨다면?

언제든 아래 링크를 눌러 채널팀에게 연락 주세요!