AI Engineer (Speech, AIOC)
# 합류하게 될 팀에 대해 알려드려요
-이 포지션은 토스 커머스에서 AI가 고객과 실시간 음성 대화를 나누는 시스템을 만들고 있는 팀 (AI Operation Center Team)에 합류해요.
-텍스트 챗봇이 아니라 실제 전화 통화예요. 고객이 말을 끊기도 하고, 맥락을 갑자기 바꾸기도 하고, 침묵이 흐르기도 해요. 그 모든 상황에서 AI가 자연스럽게 대화를 이어가야 해요. Out-bound 콜의 혹독한 환경에서도 목적을 달성할 수 있는 지능적인 서비스를 만들고 있어요.
-단순한 대화를 넘어서, 실제 비즈니스를 수행하는 콜을 만들어요. 고객을 움직일 수 있는 똑똑한 AI를 위해 각 분야의 전문가가 힘을 모아 원팀으로 일해요.
-최신 AI 기술을 실제 고객 통화라는 가장 까다로운 환경에 적용하고, 매일 데이터로 검증해요.
-음성 + LLM 실시간 대화는 아직 업계에도 정답이 없는 영역이에요. 논문을 읽는 것에서 멈추지 않고, 실제 통화 데이터로 직접 답을 만들어가는 팀이에요.
# 합류하면 함께 할 업무에요
-음성 기반 AI 에이전트의 귀와 입 부분을 맡는 핵심 기능들을 설계하고 구현 및 모델링을 수행해요.
-통화 에이전트가 잘 듣고, 자연스럽게 말할 수 있도록 STT/TTS 컴포넌트를 맡아 고도화해요.
-공개된 좋은 모델들을 토스 상황에 맞게 평가하고, 파인튜닝/실험 루틴을 설계·운영해 전체 품질을 끌어올려요.
-음성 도메인에서 기존 방식으로는 풀기 어려웠던 과제(뉘앙스·맥락·비정형 발화·감정/의도 해석, 잡음·환경변수 등)에 새로운 접근을 시도해요.
-불확실하고 확률적인 음성 모델을 원하는 목적에 맞게 안전하고 효과적으로 사용할 수 있도록 정량화된 평가과 검증을 수행하고, 반복적으로 개선되는 파이프라인을 설계해요.
-잘 수집된 콜 데이터를 활용하여, 인간 수준의 정확한 전사 모델과 인간 수준의 자연스러운 발화 모델을 만들어요.
-저지연/고품질의 음성 경험을 만들기 위해 효율성을 고려하여 모델을 만들어요. 리서치에만 그치는 것이 아닌, 실제 비즈니스 가치를 만들 수 있는 음성 모델을 만들어요.
# 이런 분과 함께하고 싶어요
-음성 도메인 문제를 깊게 파고들어(모델/데이터/평가) 복잡한 문제를 해결한 경험이 필요해요.
-문제 정의부터 모델 설계, 실험, 정량 평가까지 전체 과정을 주도한 경험이 있으면 좋아요. 데이터셋/지표/가드레일을 기반으로 품질을 체계적으로 끌어올릴 수 있는 분을 찾고 있어요. 불확실성을 정량화하는 데 능숙한 분, 본인만의 검증 방식이 있는 분이면 좋아요.
-STT, TTS, STS, Omni Model, Full Duplex 등 음성 AI 기술을 활용해 복잡한 비즈니스 문제를 해결한 경험이 필요해요. 기술을 위한 기술이 아니라, 유저 경험을 극대화하기 위한 고민이 중요해요.
-기술적 실험 뿐 아니라, 서비스 적용 가능성과 확장성까지 고려한 설계 경험이 있으면 좋아요.
-품질·지연 시간·비용 트레이드오프를 이해하고, 상황에 맞는 선택과 최적화를 해본 분이면 좋아요.
-다양한 모달의 데이터(텍스트, 이미지, 구조화 데이터)를 통합적으로 활용해 모델을 설계하고 실험해 본 분이 필요해요.
-음성 기술과 함께 Agent를 활용하여 프로덕션 수준의 서비스를 만들어본 경험이 있으면 좋아요.
# 이력서는 이렇게 작성하시는 걸 추천해요- 단순한 모델링 기술 나열보다는, 무엇을 개선하고 어떤 영향을 주었는지를 구체적으로 보여주시면 좋아요.- 경험에 대한 공유는, 제약 상황 → 문제 정의 → 실험 설계 → 평가 → 개선의 과정이 잘 드러나도록 정리해 주시면 좋아요.- 협업 과정에서 어떤 역할을 했는지, 기술 외적으로도 문제 해결에 어떻게 기여했는지 드러나면 더 좋습니다.
# 토스로의 합류여정- 서류 접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우 협의 > 최종 합격- 직무 인터뷰에서는 간단한 코딩테스트, 이력확인, ML 기초 지식테스트 (1시간) 과 심층 기술면접과 ML 시스템 설계 (1시간) 를 주제로 면접이 진행될 예정이에요.
# 함께할 동료를 위한 한마디> “말하고 듣는 AI 기술로 고객의 경험을 바꾸는 서비스를 만들고 있어요. 세상을 바꾸는 AI 기술을 함께 만들 동료를 찾습니다!”> - 단순히 말하고 듣는 AI를 만드는 것이 아니라, 비즈니스 문제를 직접 푸는 데 사용되는 AI를 만들어요. 음성에 지능을 더해 사람처럼 문제를 해결하는 AI를 만들어갈 수 있어요.> - 음성 발화 모델은 우리 서비스의 UX 디자인이에요. 따뜻하고 신뢰있는 경험, 친근하고 다정한 경험 등 사람 같은 경험을 주기 위해 매우 중요한 컴포넌트를 맡게 되어요.> - 음성 기술을 활용해 가장 큰 임팩트를 만들 수 있는 서비스에서, 사람 같은 경험을 주는 AI를 함께 만들고 싶어요.
