프론티어 모델 대신 우리 모델을 만드는 이유

안녕하세요, 채널톡에서 채용을 담당하고 있는 에반입니다.

채널톡의 전화 상담 AI, VoiceALF는 그 2초 안에 고객의 말을 알아듣고, 생각하고, 대답해야 합니다. 그리고 이 문제를 매일 붙잡고 있는 세 사람이 있습니다. 오늘은 채널톡 AI 팀에서 모델 학습(model training)을 담당하는 파트의 구성원 바벨, 바드, 새미를 만났습니다.

AI 모델팀에서 어떤 문제를 풀고 있는지, 왜 그 문제가 어려운지, 그리고 어떤 동료를 찾고 있는지 아래의 인터뷰 내용을 통해 확인해 보세요

Q. 먼저 간단한 자기소개 부탁드려요. 지금 채널톡에서 어떤 일을 하고 계신가요?

바벨

안녕하세요, 채널톡에서 AI 모델팀의 머신러닝 엔지니어로 일하고 있는 바벨입니다. 제품에 들어가는 AI 모델을 학습시키는 일을 하고 있고, 최근에는 Voice 에이전트에 들어갈 음성 인식·음성 합성 모델을 만들고 있어요.

바드

안녕하세요! AI 모델팀에서 음성 모델링을 담당하고 있는 바드입니다. 그 롤 캐릭터 바드 맞습니다. 합류한 지 두 달이 막 넘었고, 전화 상담 에이전트 VoiceALF에 들어가는 음성 모듈을 만들어왔어요. 지금은 목소리를 전사하는 Speech-to-Text(STT)와 화자가 말을 끝냈는지 판단하는 Turn Detection(TD)을 주로 맡고 있습니다. 사람이 소통할 때 쓰는 가장 기본적인 매체를 딥러닝으로 다룬다는 게 매력적이라 재미있게 일하고 있어요ㅎㅎ

새미

안녕하세요, 머신러닝 엔지니어 새미입니다. 대규모 상담 데이터 분석에 특화된 자체 LLM을 개발해서, 상용 LLM 대비 텍스트 기반 태스크 성능을 높이고 비용을 절감하는 일을 맡아왔어요. 최근에 이 일을 마무리해서 앞으로는 음성 모델링을 함께 진행할 예정입니다!

Q. 채널톡에는 어떻게 오게 되셨어요? 이직을 결심할 때 결정적이었던 게 뭐였나요?

바벨

직전 회사에서 영상 편집 프로그램의 음성 관련 AI 기능을 담당했어요. 채널톡이 음성 에이전트 모델을 직접 만들어가고 있다는 공고를 보고 흥미가 생겨 지원했습니다.

바드

직전까지는 LLM 엔지니어였어요. 사내 임직원용 AI 에이전트, 서브에이전트 시스템, tool search 시스템 같은 걸 만들었죠. 그런데 사내용 에이전트는 수익과 직접 연결되지 않다 보니 피드백이 적고 느렸고, “사용자가 원하는 기능”보다 “회사가 넣고 싶은 기능”을 넣는 느낌이 강했어요.

채널 팀 리크루터 연락을 받고, 시장과 밀접하게 붙어서 기민하게 움직이는 곳에서 AI를 다뤄보고 싶다는 생각으로 결심했습니다. 사용자 범위에 불특정 다수인 “고객사의 고객”까지 포함된다는 점이 꽤 매력적이었어요.

새미

이전에도 Multimodal LLM, NLP 모델링을 주로 했어요. 이직할 때 기준은 “지금 잘하는 일을 계속하면서 더 큰 문제를 풀 수 있는 회사인가”였는데, 채널톡이 모델 학습을 직접 하고 있다는 공고를 보고 지원했습니다.

Q. 막상 들어와보니 예상과 달랐던 게 있나요?

바벨

풀어야 할 문제가 생각보다 훨씬 어렵고 복잡하다는 점이요. 그런데 오히려 좋은 점도 있어요. 누구에게나 쉬운 문제였다면 기술이 이미 포화돼서 작은 차이로 치열하게 경쟁하고 개선 효과도 크지 않았을 거예요. 지금은 제품을 위한 기술이 성장하는 단계라 개선마다 차이가 뚜렷하고 제품에 바로 보여서 보람이 큽니다.

Q. 두 분은 입사 후 맡은 일이 바뀌었다고 들었어요.

바드

저는 LLM 에이전트를 하던 사람인데, 입사 두 달 만에 음성 AI 모델러로 전직하고 있습니다. 예상 못 한 일이지만 잘 됐다고 생각해요. 원래 멀티모달을 제대로 공부하고 싶었고, 첫 업무가 VoiceALF 에이전트 엔진 수정이었거든요. 음성 모델과 언어 에이전트를 함께 이해하면 훨씬 효과적으로 일할 수 있을 거라 봤어요.

처음엔 음성 데이터 이해도 얕았지만 채널톡에 필요한 부분부터 하나씩 착수하니 짧은 기간에도 작은 성과가 나오더라고요. 음성 AI는 오래 연구된 분야지만 실제 전화 상담 환경에는 그대로 가져다 쓸 정답이 많지 않아요. 부딪히며 배워야 하는데, 그게 오히려 다양한 고객 니즈를 맞추는 데 맞는 방식이라 느껴요.

새미

저는 음성 모델링을 바로 시작할 줄 알았는데 자체 LLM 개발을 맡게 됐어요. 그동안 해온 것과 다르게 벤치마크가 정해진 태스크가 아니라 회사 도메인의 특정 문제를 푸는 모델링이었죠. 설레면서도 막막했는데, 작은 문제로 쪼개고 우선순위를 정해 하나씩 풀다 보니 성능이 안정적으로 올라갔고, 지금은 모델이 완성돼서 전체 트래픽을 대체하게 됐어요. 어려웠지만 그만큼 정말 뿌듯한 경험이었습니다.

Q. 채널톡 AI가 지금 푸는 문제를 정리해주실 수 있나요?

바드

고객을 응대하는 AI인 ALF, 그리고 고객사의 업무까지 대신 수행하는 AI인 CoS를 더 좋게 만드는 것이 모든 문제의 대전제예요. 그중 VoiceALF는 ALF 엔진 위에 음성 인식과 음성 합성 모델을 얹어 만든 전화 상담 에이전트입니다.

바벨

고객 요청을 AI 상담사가 해결하는 것 외에도, 상담이 끝난 뒤 정리·분류 같은 상담사 분들의 업무를 AI가 보조하고 있어요. 채팅 상담과 음성 상담 모두 필요한 일인데, 음성 상담은 비교적 고도화가 덜 된 상황이에요. 그래서 모델 팀은 AI에게 좋은 귀와 입을 붙여주는 것부터 출발하고 있습니다.

새미

정리하면 모델 팀이 푸는 문제는 크게 음성 모델링과, 제가 맡은 자체 LLM 개발 두 축입니다.

Q. 전화 상담은 채팅 상담과 뭐가 다른가요?

바드

처음엔 ALF가 잘 동작하니 음성 모듈만 적당히 붙이면 될 거라 생각했어요. 그런데 웬걸요, 전화는 채팅과 많이 달랐습니다. 첫 번째 차이는 답변의 제1목표가 “신속함”이라는 점이에요. 채팅에서는 정확한 답을 20초 뒤에 줘도 되지만, 전화에서는 첫 발화가 2초만 늦어져도 사용자가 공백을 크게 체감합니다.

두 번째는 “턴이 자동으로 구분되지 않는다”는 점이에요. 채팅은 엔터를 누르면 메시지가 끝나지만, 전화에서는 30초 동안 혼자 말할 수도, “네네” 리액션만 할 수도, “크흠” 헛기침을 할 수도 있죠. 그럼 VoiceALF는 언제 입을 떼야 할까요? 이 제약을 풀기 위해 Streaming STT와 Semantic TD 모델을 연구개발하고 있습니다.

Q. 자체 LLM은 왜 만들게 됐나요?

새미

그동안 팀에 open-weight LLM에 대한 학습·정량 평가·운영 프로세스가 없었기 때문에 “프론티어 모델 대비 자체 모델을 운영하는 게 이점이 있을까?”를 끊임없이 의심했어요. 그런데 상담 관련 태스크의 비용이 지속적으로 큰 부담이었습니다. 채널톡에서 발생하는 모든 상담이 평가 대상이고, 입력 토큰도 많고, LLM API 비용은 점점 비싸지고 있었거든요. 자체 모델 전환이 꼭 필요한 시점이었습니다.

Q. 지금 제일 안 풀리는 문제는 뭔가요?

바벨

“어떻게 짧은 시간 안에 정확하고 자연스럽게 태스크를 수행하는 에이전트를 만들까”예요. LLM은 사고 과정을 깊게 둘수록 정확해지지만 시간이 더 걸려요. 음성 에이전트는 실시간이라 사고 과정을 거의 둘 수 없고, 여기에 음성 인식·합성 추론 시간까지 더해지니 낮은 latency에서도 잘 동작하는 모델을 만들어야 합니다.

바드

음성 데이터 라벨링을 어떻게 대규모로 확장할지, 그리고 사람이 들어도 판단이 어려운 고난도 데이터를 어떻게 처리할지요. STT용 오픈 데이터는 정말 많아서 며칠만 투자해도 수십 테라바이트를 모을 수 있어요. 하지만 결국 VoiceALF가 고객 상담을 잘 해내야 하니 도메인에 맞는 데이터를 얼마나 잘 활용하느냐가 중요합니다.

저희가 가진 실제 상담 데이터는 목적에 맞춰 라벨링된 게 아니라 자연스럽게 쌓인 코퍼스예요. 수백 개면 사람이 하겠지만 학습에는 수만, 수십만 개가 필요하죠. 여기에 사람마다 목소리와 화법이 달라 같은 음성을 듣고도 판단이 갈리는 회색지대 데이터도 많아요. 버리기도, 직접 듣고 고치기도 애매한 양이라 처리 과정을 자동화할 방법을 열심히 고민하고 있습니다.

새미

상담 평가에는 핵심 이슈 추출, 토픽 배정, CX 평가 등 여러 LLM 모듈이 맞물려 돌고 있어서 자체 모델 전환이 쉽지 않았어요. 첫째는 평가 자체였습니다. 맞고 틀리고가 명확한 correctness는 정량 평가가 되지만, 무엇이 좋은 상담인지는 고객사와 downstream task에 따라 달라지니까요. 둘째는 상용 LLM baseline보다 성능을 어떻게 높일지, 그리고 여러 태스크를 한 번에 처리하는 Multi-task training에서 task interference를 어떻게 풀지였어요.

최근에 이 문제들을 모두 해결하고 최종 모델을 완성했습니다. 상용 LLM baseline과 비교한 win rate로 보면 핵심 이슈 추출은 50%에서 93.4%로, 토픽 배정은 50%에서 72.9%로 올랐고, 상담 평가는 QWK 기준 0.702에서 0.851이 됐어요. 비용은 아직 확정치는 아니지만 최소 월 5천만 원 정도 절감될 것으로 추정하고 있습니다. 성능과 비용을 둘 다 잡아서 매우 뿌듯합니다.

Q. 고객사마다 요구가 다를 텐데, 방향은 어떻게 잡나요?

바드

“고객 상담”을 안 하는 업종은 없어요. 고객 상담 AI를 파는 저희도 그 AI를 사는 고객과 상담하니까요. 즉 채널톡 고객사는 업종도, 그 고객사의 소비층도 천차만별입니다. 대응 방식은 두 가지예요. (1) 모델의 범용성을 끌어올리기, (2) 각 요구에 맞는 여러 모델 만들기.

1번은 이상향이자 장기 목표고, 단기적으로는 2번으로 개별 이슈를 풀면서 1번의 초석을 쌓는 느낌입니다. 예를 들어 TD 모델은 처음엔 턴이 넘어갔다고 민감하게 판단하도록 만들었는데, 특정 고객사에서는 그 민감도가 VoiceALF가 자꾸 “끼어드는” 원인으로 지목됐어요. 반대로 둔감하게 만들면 고객이 말을 마쳤는데도 기다리게 하죠. 그래서 성격이 다른 모델을 상황에 맞춰 제공하고, 거기서 얻은 노하우로 베이스라인 모델 자체를 한 단계 올리는 사이클로 일하고 있습니다.

새미

저도 같은 고민이었어요. 하나의 고객사에만 맞추면 문제가 되기 때문에, 도메인과 성격이 다른 고객사들을 골라 학습과 평가를 진행했습니다.

Q. 학습에 쓰는 데이터는 어디서 오나요? 평가셋이나 라벨링은 누가 만드나요?

바드

말씀드릴 수 있는 범위에서, 주로 채널코퍼레이션과 채널톡 도입을 검토하는 고객사 사이의 상담 데이터를 사용합니다. 평가 데이터에는 사람이 직접 annotation을 달고, 학습 데이터는 그 human annotation을 다른 샘플로 자동 확장하는 라벨링 알고리즘을 만들어 적용해요.

조만간 라벨링을 전문적으로 도와주실 단기직 분들도 채용할 계획입니다. 오픈 데이터셋도 최대한 활용해요. 저희 도메인에 100% 맞는 건 없지만 창의적으로 변형하면 다양성과 강건성을 더할 수 있죠. 태스크에 따라 세션 단위로 수천 개부터 짧은 단위로는 수천만 개가 필요한 경우도 있습니다.

바벨

자체적으로 라이센스를 확보한 데이터를 기본으로 쓰고, AI Hub의 품질 좋은 기준 데이터도 학습·평가에 적극 활용합니다.

Q. 학습 환경은 어떻게 되어 있나요?

바벨

A6000, H100 등 음성 모델을 학습하기엔 충분한 자체 GPU가 있어요. 규모 있는 언어 모델 학습이나 전처리에 모델 추론이 필요한 경우엔 GCP를 씁니다. AI 시장이 워낙 빠르게 변해서 시간도 굉장히 비싼 자원이라고 생각해요. 그래서 병렬로 처리 가능한 큰 throughput 작업은 클라우드도 적극적으로 활용합니다.

바드

저는 TD 학습은 로컬 GPU에서, STT 학습은 GCP에서 하고 있어요. 인프라가 업무에 장애물이 되면 언제든 확장을 건의할 수 있는 구조입니다. 계산이 병목이 되는 지점은 필요에 따라 클라우드 GPU로 풀 수 있게 열려 있고, 실제로 그렇게 해결한 사례도 이미 있어요.

Q. 아이디어에서 실험, 배포까지는 보통 얼마나 걸리나요?

바벨

문제의 크기에 따라 다르지만 보통 2~6개월 정도라고 해요. 모델을 서빙 인프라에 올리는 건 카오루가 함께해 주셨고, 서빙된 모델을 제품 안에서 어떻게 쓸지는 각 제품팀과 같이 풀어갑니다. 즉 모델팀은 “모델을 만드는 것”에 집중하고, 배포와 제품 적용은 옆 팀들과 이어져 있는 구조예요.

Q. 논문을 읽고 재현해보는 시간이나 연구 자유도는 어느 정도인가요?

새미

각자의 관심도에 따라 달라서 딱 잘라 말하긴 어렵다고 해요. 다만 진행 중인 업무 공유 외에, 각자 본 것과 시도한 것을 나누는 주간 공유 자리가 일주일에 두 번 있습니다. 바벨의 음성 세미나까지 합치면 팀 안에서 배우고 전파하는 시간은 꽤 촘촘한 편이에요.

Q. 세 분은 지금 어떻게 역할을 나누고 있나요?

바벨

저와 바드는 음성 모델을, 새미는 상담 평가를 수행하는 텍스트 모델을 만들고 있어요. 조금 더 긴 호흡으로는 음성과 채팅 상담이 결국 모두 언어 영역이라 Speech LLM에 대한 온도감도 쌓아가는 중입니다.

Q. 새롭게 합류하는 분은 어떤 문제를 풀게 될까요?

바벨

워낙 변화가 많다보니, 지금 시점에 제가 공유드린 내용이 달라질 수도 있겠지만 현 시점에서는 음성 에이전트에 들어갈 음성 모델을 함께 만들 예정입니다. 같이 연구해서 제품에 활용할 수 있는 선도적인 모델을 만들고, 제품에 적용하는 과정까지 함께 해나갈 거예요.

Q. 음성 도메인 경험이 없어도 괜찮나요?

바벨

괜찮습니다. 필요한 음성 세부 도메인 지식은 제가 매주 세미나를 열어 전파하고 있고, 사실 다른 역량이 더 중요하다는 걸 알게 됐어요.

새미

ALM, VLM, LLM을 모두 경험해보고 느낀 건, 모델링 경험만 있다면 어떤 도메인이든 금방 따라갈 수 있다는 거예요.

Q. 그럼 어떤 동료를 기대하시나요?

바벨

EDA에 시간을 쏟고, 모델 구조의 디테일을 확인하고, 제품에 관심을 갖고 AI 모델이 제품에서 어떻게 동작할지 계속 탐구하는 호기심이요. 그 호기심을 나누고 함께 해소해가는 과정에서 모델도, 제품도, 각자도 성장한다고 믿습니다.

바드

새로운 문제를 마주할 때 두려움이 없고 “까짓거 함 해보입시더” 하시는 분이면 좋겠어요. 입사할 때 적었던 제 한 줄 소개가 “인생의 파도 위에 서핑보드를”인데, 어쩌면 서퍼가 되어야 하는 운명이었나 봅니다. 아니면 여기가 그냥 골드코스트였는데 제가 찾아온 것일지도요…

Q. 마지막으로, 채널톡 지원을 고민 중인 분에게 한 마디!

바벨

실제로 사용되고 팔리는 AI 제품에 관심이 있다면 꼭 지원해주세요. 일단 지원서를 넣고 더 고민하셔도 좋습니다. 실제 제품에 쓰이는 모델링을 하고 싶다면, 크게 망설이지 마세요.

바드

현재 팀 분위기도 너무 좋고, 좋은 멤버가 더 많이 늘어났으면 좋겠어요. 우리가 해결하고 있는 문제는 정말 어렵지만, 할 수 있을거라 믿고 있습니다. 도전적인 성향을 갖고 있다고 스스로 생각한다면 꼭 지원해 주세요.

새미

채널톡 AI 모델팀은 음성 에이전트에 들어갈 모델을 함께 만들 머신러닝 엔지니어를 찾고 있습니다. 음성 도메인 경험은 없어도 괜찮습니다. 아래 링크를 통해 지원해 주세요

[채용] Machine Learning Engineer (Model Training)

채널톡은 제품에 필요한 핵심 AI 모델을 직접 연구하고 만드는 팀을 새롭게 만들고 있습니다. 이 팀은 단순히 외부 API나 이미 만들어진 모델을 활용하는 것이 아니라, 제품 문제를 해결하기 위해 자체 모델을 설계하고 학습시키는 것을 목표로 합니다. 팀의 첫 번째 과제는 AI 음성 상담을 위한 TTS/STT 모델의 성능을 끌어올리는 것입니다. 자연스러…

Channel.io