"ALF 되게 똑똑하다" 한마디를 듣기 위한 AI 팀의 과제

안녕하세요 채널팀의 Developer Relations 수입니다!

이번 리더십 인터뷰 블로그에서는 채널톡 AI 팀 리더 제이크와 함께 채널톡 AI 팀이 어떤 일을 하고 있는지, 또 어떤 방향을 바라보고 있는지에 대해 이야기를 나눠봤습니다.

Q. 안녕하세요! 간단한 자기소개와 채널톡 합류 계기를 알려주세요:)

안녕하세요! 채널톡 AI 팀 리드를 맡고 있는 제이크 입니다. 이전 직장에서 약 6년간 AI 모델 연구와 개발 업무를 해왔고, 채널톡에 합류한 지는 약 1년 반 정도 되어가고 있네요. 전 직장에서는 좋은 연구 환경 속에서 논문을 읽고, 모델 학습과 개발 업무를 수행하며 즐겁게 일을 했었는데요. 다만 개인적으로 돌이켜보면, 연구 결과가 실제 제품으로 이어지고 사용자 피드백을 직접 확인할 수 있을 때 가장 큰 재미와 보람을 느낀다는 걸 알게 되었습니다.

모델이 잘 나왔다, 성능이 좋다 같은 부분도 물론 의미가 있지만, 결국 그 결과가 제품의 형태로 구체화 되어 사람들이 “이거 진짜 쓸모 있다”라고 느끼는 걸 볼 때 오는 쾌감이 가장 컸어요. 그래서 그런 경험을 할 수 있는 기회가 어디 있을지 고민했고, 지금까지의 경험을 살리면서도 개발 사이클을 온전히 경험할 수 있는 곳이 채널톡이라고 생각했습니다.

Q. 어떤 점에서 채널톡이 AI 제품 개발 사이클을 직접 경험할 수 있는 환경이라고 느끼셨나요?

먼저 SaaS 제품 하나에 집중하고 있다는 점이 컸어요. 면접 과정에서도 느꼈던 부분이 AI 팀 내에서 기본적으로 “이걸 어떻게 하면 더 좋은 제품으로 만들 수 있을까”에 관심이 많으셨어요. 보통은 모델 학습을 어떻게 했는지나 어떤 방법론을 썼는지 처럼 기술적인 부분에 대한 질문이 주가 되는데, 채널톡 면접에서는 그런 내용뿐만 아니라 그 결과가 실제로 제품에 어떻게 녹아들었고, 어떤 임팩트를 냈는지를 더 많이 물어보셨어요. 그 부분이 개인적으로 굉장히 인상 깊었습니다. 제가 어떤 컨트리뷰션을 했을 때, 그게 정말 눈에 보이는 사용자 가치랑 가장 밀접하게 연결 될 수 있겠다는 느낌이 들었어요. 그리고 실제로 조인해서 일해보니까, 그때 들었던 예감이 맞았구나 싶었고요.

Q. 채널 AI 팀에서 지금까지 어떤 업무를 해오셨나요?

기본적으로는 ALF라는 제품이 더 똑똑해지게 만드는 전반적인 제품적 고민을 맡고 있다고 보시면 됩니다. ALF가 처음 제품으로 출시되는 시점에 처음 합류해서, 운영 과정에서의 성능 개선과 안정화 작업에 참여 했었습니다. 이후에는 팀 ALF 호출하기 기능이나 팀 ALF 같은 새로운 기능들을 기획부터 구현, 제품화까지 맡아서 진행 했고요. AI 팀 리드를 맡은 뒤부터는 개별 기능 개발 뿐만 아니라, 채널톡 전체의 AI 기술 연구 방향이나 장기적인 제품 목표를 설정하는 역할도 함께 하고 있습니다.

Q. 지금까지 진행하신 프로젝트 중 가장 기억에 남는 경험은 무엇인가요?

팀 ALF 호출하기 기능의 TF 리딩을 맡았던 경험이 가장 기억에 남습니다. 그전까지도 연구자나 개발자로 일하긴 했지만, 기획부터 배포, 그리고 실제 사용자 피드백까지 완전 end-to-end 경험한 건 그때가 처음이었어요. 디자이너, 프론트엔드, 백엔드 등 정말 다양한 제품팀 구성원들과 일정 조율부터 기획까지 다같이 하면서 “어떻게 하면 이 AI 제품의 효능감을 가장 잘 올릴 수 있을까”를 계속 고민했던 기억이 납니다. 결과적으로 반응도 좋았고, 지금도 ALF를 굉장히 열심히 쓰시는 고객사들을 보면 제가 이 일을 왜 좋아하는지 다시 한 번 확인 할 수 있었어요. 또한 고객사 뿐만 아니라 채널톡 내부 CX팀에서도 실제 상담 과정에서 빼놓을 수 없는 기능이라고 말씀해 주셨는데 개인적으로 많이 와닿는 피드백이었습니다.

ALF를 더 똑똑하게 만들기 위한 AI 팀의 고민

Q. AI 팀은 어떤 문제들을 중심으로 일하고 있고 현재 집중하고 있는 과제는 무엇인가요?

지금 AI 팀이 보고 있는 큰 과제는 네 가지 정도로 정리할 수 있어요. Knowledge, Speech, Evaluation, 그리고 Proactive Agent 입니다. 이 네 가지는 각각 따로 떨어진 문제라기보다는, 결국 하나의 방향을 향해 같이 가고 있다고 보시면 될 것 같아요. “ALF를 더 똑똑해지게 만드는 것”입니다. 조금 더 수치적인 관점을 보자면 ALF의 해결률을 얼마나 높일 수 있느냐 가 하나의 지표가 될 수 있을 것 같아요.

Q. 큰 과제 4개가 ALF를 어떻게 더 똑똑하게 만들어가고 있나요?

먼저 Knowledge부터 설명드리자면, Knowledge는 사람들이 “이 AI 되게 똑똑하다”라고 느끼게 만드는 가장 코어한 영역이라고 생각해요. 사람들이 AI를 똑똑하다고 느끼는 포인트는 여러 가지가 있는데, 그중에서도 “어떻게 이런 것도 알고 있지?”, “이 정보는 어디서 찾아서 이렇게 대답했지?” 같은 순간에서 오는 와우 포인트가 굉장히 크더라고요. 이걸 조금 더 본질적으로 보면, 결국은 엔드 유저가 던진 질문에 대해 가장 적절한 지식을 찾아서 답변해 주는 과정이에요.

그래서 저희는 “데이터를 지식으로 변환하는 작업”에 특히 집중하고 있습니다. 고객사들이 업로드한 PDF나 웹 페이지 같은 다양한 형태의 데이터를 ALF가 검색할 수 있는 지식 형태로 변환하는 작업이죠. 이렇게 변환된 지식을 더 잘 참조하고 효과적으로 활용할 수 있도록 에이전트 구조 설계까지 함께 다루고 있습니다. 이 과정에서 Claude의 Skills처럼 다른 AI 제품에서 검증된 방법론들을 선제적으로 리서치하고, ALF에 적용하기 위한 다양한 PoC를 진행하고 있습니다.

Q. 이런 ‘똑똑함’을 실제 상담 경험으로 만들 때, Speech 영역은 어떤 역할을 하고 있나요?

Speech 쪽에서는, 범용적으로 성능이 뛰어난 모델보다는, 고객 상담 도메인에서 가장 자연스러운 음성 합성 모델을 만들고 있습니다. 자연스러움을 정의하기 위한 다양한 방법이 있겠지만, 현재 저희가 가장 중요하게 보는 건 프로소디(prosody), 그러니까 운율이에요. 가장 상담사스럽고, 가장 자연스럽게 들리는 음성을 만드는데 집중하고 있고요. 다만 “이 모델이 얼마나 자연스럽냐”에서 끝나지는 않습니다. 실제 서비스에 적용하려면 레이턴시 최적화 같은 현실적인 문제들도 반드시 함께 고려해야 하거든요.

그래서 저희 목표는 단순히 자연스러운 음성이 아니라, 빠르면서도 상담사스러운 음성을 가진 TTS 모델을 만드는 겁니다. 지금은 TTS 리더보드 형태로 음성 합성 모델을 공개하고 있고, 이 영역에서는 1등을 목표로 하고 있어요. 곧 v1.1 버전이 공개될 예정이고, 일본어를 포함한 다국어 발화까지 성능을 지속적으로 개선할 예정입니다.

Q. 그럼 ALF가 ‘잘 상담했다’는 건, 팀에서는 어떻게 판단 하고 있나요?

이 질문에 대한 답이 바로 Evaluation 과제가 될 것 같아요. 한 문장으로 말하면 “ALF가 상담을 잘했는가를 어떻게 측정할 것인가”에 대한 문제예요. 되게 많은 사람들이 필요하다고 느끼는 영역이긴 한데 막상 제대로 만들려고 하면 생각보다 굉장히 어려운 과제거든요.

저희가 생각하는 Evaluation의 핵심은 어떤 평가 지표를 설정할 것인가에 있습니다. 실제 상담 과정에서 정말 의미 있고 필요한 지표가 무엇인지에 대해 팀 내부에서도 굉장히 치열하게 고민하고 있고요. 현재는 이 평가 지표를 제품화하는 단계에 있으며, 1월 중으로 평가 제품을 출시하는 것을 목표로 하고 있습니다. 이후에는 고객사 피드백을 바탕으로 해당 지표를 지속적으로 개선해 나갈 계획입니다. 이를 통해 ALF의 해결률이나 상담 품질을 보다 객관적으로 판단할 수 있는 기준을 만들어가는 데 집중하고 있습니다. 더 나아가, 이 지표들이 단순히 평가 지표로서 남는 것이 아니고, 상담 품질을 개선하기 위한 액션까지 제안하는 것으로 확장하려고 합니다.

이 평가가 가능해지면 그 다음으로 자연스럽게 이어지는 고민이 하나 있어요. 바로 Proactive Agent, 즉 ‘먼저 말을 거는 AI’ 입니다. 지금은 사용자가 먼저 질문을 던지는 구조지만 앞으로는 ALF가 먼저 말을 걸어서 상황에 맞는 액션이나 메시지를 제안하는 방향도 보고 있어요. 마케팅 액션까지 포함해서 실제로 의미 있는 결과로 이어지게 하려면 어떤 구조가 필요할지 설계 해 나가고 있습니다.

Q. 장기적으로 AI 팀이 그리고 있는 방향성은 무엇인가요?

장기적으로는 고객이 AI인지 신경 안 쓰게 될 만큼 똑똑한 상담 에이전트를 만드는 게 목표예요. 지금 모델 지능 수준으로도 충분히 가능하다고 보고 있어요. 단, 모델 성능만으로 되는 건 아니고 제품 레벨의 연구가 필요하거든요. 저희는 이 지점을 누구보다 잘 푸는 팀이 되려고 해요.

그래서 가설을 세우고 빠르게 검증하는 방식으로 일하고 있어요. 지식, 음성, 에이전트 등 여러 축에서요. 예를 들어 지식 관점에서는, 고객사마다 데이터 형태가 제각각이라는 문제가 있습니다. 어떤 고객사는 지식이 웹페이지 형태로만 존재하고, 어떤 고객사는 PDF 수백 개가 전부이기도 하거든요. 이걸 AI가 이해하기 좋은 형태의 지식 구조, 즉 온톨로지 형태로 구조화한다면, 똑같은 데이터를 올려도 훨씬 잘 답변할 수 있어요. 고객 입장에서는 뭘 바꾼 건지 모르지만, 체감은 확실히 달라지는 거죠.

제품 지향적인 AI 팀에서 일한다는 것

Q. 채널톡 AI 팀의 가장 큰 매력은 뭐라고 생각하시나요?

AI 관련 기술을 제품에 적용 했을 때 바로 사용자의 피드백을 받은 수 있는 제품 생각보다 많지 않아요. 그런 점에서 채널 AI 팀은 제품 지향적(product-oriented)이라는 특징과 되게 잘 맞아 있는 팀이라고 생각해요. 개인적으로는 밀도 있는 경험을 할 수 있다는 점도 큰 매력이라고 느끼고 있어요. 제품 사이클을 처음부터 끝까지 온전히 다 경험할 수 있고, 고객의 목소리를 바로 듣고 그걸 다시 제품에 반영하는 과정을 직접 겪을 수 있습니다. 그 안에서 방향성을 굉장히 액티브하게 조정하게 되는데, 저는 애초에 이런 경험을 원했거든요. 무엇보다 그 과정 안에서 주도적으로 목소리를 내고 기여할 수 있는 지점들이 많다는 점이 개인적으로는 굉장히 좋게 느껴졌습니다.

Q. 이러한 경험 속에서 개발자로서 가장 중요하게 생각하는 개발 가치는 무엇인가요?

요즘은 생각이 좀 바뀌었는데요. 예전에는 안정성을 가장 최우선으로 생각했습니다. 코드 퀄리티를 잘 챙기고 구조를 단단히 만드는 게 제일 중요하다고 봤어요. 그런데 요즘은 커서 같은 AI 도구들을 보면서 속도가 정말 중요해졌다는 걸 많이 느끼고 있습니다. 물론 속도를 챙기더라도 최소한의 안정성은 필요하다고 생각해요. 다만 지금은 모두가 빠르게 제품을 만들고 있기 때문에 빠르게 제품화 해 보고 피드백을 받고 다시 개선하는 사이클 자체가 굉장히 중요해졌다고 느낍니다. 그래서 과거에는 코드 퀄리티나 안정성을 최우선 가치로 뒀다면 지금은 결과적으로 사용자들의 효능감을 어떻게 더 올릴 수 있을지를 더 많이 고민하게 됐습니다.

Q. 팀 매니징 하실 때는 어떤 부분을 가장 중요하게 신경 쓰고 계신가요?

채널톡에 계신 구성원분들은 전반적으로 욕심이 있는 분들이라고 느껴요. 어떤 문제 자체를 잘 풀어보고 싶어 하는 분들이 많습니다. 그래서 회사가 요구하는 문제와 개인이 풀고 싶은 문제 그리고 커리어 패스의 방향성을 잘 얼라인 시키는 것이 어려우면서도 동시에 가장 중요한 지점이라고 보고 있어요.

결국 답은 많은 대화인 것 같아요. 해당 팀원이 어떤 상황에서 가장 좋은 퍼포먼스를 내는지 어떤 문제를 잘 푸는 사람인지 그걸 이해하려고 계속 노력하고 있습니다. 이걸 알아야 회사 안에서 풀어야 하는 수많은 문제들 중에서 이분이 가장 잘 퍼포먼스를 낼 수 있는 영역이 어디일지를 고민할 수 있거든요. 그래서 그 영역을 중심으로 태스크를 드리고, 함께 시도해 보면서 같이 성장하는 방향을 만들려고 합니다. 회사는 회사가 풀어야 할 문제를 해결하면서 성장하고 개인도 본인이 잘할 수 있는 문제를 풀면서 성장하는 구조를 만드는 것. 그게 지금 제가 가장 많이 고민하고 있고 노력하고 있는 부분입니다.

Q. 그렇다면 채널톡 AI 팀과 잘 맞는 엔지니어는 어떤 분이라고 생각하시나요?

기본적으로 저희는 논문을 위한 논문, 연구를 위한 연구는 지양하려고 해요. 채널톡 엔지니어팀은 제품과 비즈니스 가치에 관심이 많은 팀입니다. 시스템을 설계하는 일일 수도 있고, 에이전트를 만드는 과제일 수도 있습니다. 이런 작업들이 실제 제품과 잘 얼라인 되어 좋은 피드백을 받고, 실제 비즈니스 성과로 이어지는 경험을 해보고 싶은 분들이라면 저희 팀과 되게 잘 맞을 거라고 생각해요.

저는 AI나 ML을 결국 도구라고 생각해요. 물론 “AI가 다 알아서 해줄 거야”라고 생각하는 건 굉장히 위험하죠. 하지만 AI를 적재적소에 잘 활용해 제품이 실제로 더 좋아지고, 사용자와 회사 모두에게 가치를 만들어내는 경험에 관심이 있는 분들이라면 채널톡 AI 팀과 잘 맞을 것 같습니다.

Q. 마지막으로 함께 만들어가고 있는 채널톡 동료들에게 한마디 부탁드릴게요.

지금처럼 급변하는 시기는 흔치 않은 것 같아요. 위기 같아 보이는 순간들이 사실은 기회일 수도 있고요. 이 파도 속에서 채널팀 모두가 굉장히 잘 헤엄치고 있다고 느껴요. AI 팀뿐만 아니라 모든 동료들이 이 변화 속에서 잘 살아남고, 기회를 잡고, 함께 성장할 수 있었으면 좋겠습니다!