2022. 12. 22   |  3 mins

업스테이지의 추천 AI Pack 도입 후 고객사의 구매 전환액이 평균 +60%, 최대 +150%까지 증가하는 성과를 만들어낸 장본인들이 있습니다. 바로 버티컬 커머스 기업 ‘(주)브랜디’와의 PoC를 통해 놀라운 성능으로 AI 추천 시스템 계약을 이끌어낸 업스테이지의 RecSys팀과 AI Challenges팀입니다!

추천 AI Pack 개발 및 브랜디 프로젝트의 비하인드 스토리와 더불어 업스테이지의 문화와 일 하는 방식까지, 스타뷰로 담아보았습니다.

AI Pack 개발로 브랜디의
고객 성공 사례를 만든
RecSys & AI Challenges팀의
남다른 시너지

자기소개 부탁드립니다.

원성

안녕하세요. 저는 RecSys팀(Recommender Systems)의 AI 리서치 엔지니어로 근무하고 있는 이원성입니다. 추천 시스템에 걸쳐 있는 여러가지 문제들을 AI나 머신러닝 기술로 해결하는 역할을 담당하고 있습니다.

준현

안녕하세요. RecSys팀에서 AI리서치 엔지니어로 일하고 있는 박준현입니다. 데이터 기반으로 고객사의 문제를 해결하는 일을 하고 있습니다.

현우

저는 AI Challenges팀의 김현우입니다. 주로 캐글 대회에 참여하면서 새로운 기술을 습득하거나 더 좋은 성능을 거두기 위해 노력하고 있고, 그 과정에서 캐글 마스터까지 획득할 수 있었습니다. 그 외에는 내부의 다른 프로젝트나 PoC의 모델링을 담당하고 있습니다.

남준

안녕하세요. 저는 RecSys팀에서 소프트웨어 엔지니어로 일하고 있는 조남준입니다. 추천 시스템의 백엔드와 데이터 파이프라인을 개발하고 있습니다.

반갑습니다.
요즘은 어떤 업무에 집중하고 계신가요?

원성

최근에는 브랜디 AI 추천 시스템의 추가 개발을 진행하고 있는데요. 추천 아이템 풀이 변경됐을 때 실시간으로 반영하여 추천 결과를 변경해 주는 시스템을 개발하고 있습니다.

준현

저는 추천 시스템을 여러 서비스에 보편적으로 확장할 수 있는 모델을 만드는데 집중하고 있습니다.

현우

저는 올해 Kaggle H&M 챌린지, ACM RecSys 챌린지 2022 등에 참가하면서 추천 시스템의 기술력 향상을 위해 여러 노력을 했는데요. 이러한 경험을 저희가 만드는 프로덕트와 경진대회 등에 녹여낼 수 있도록 집중하고 있습니다.

남준

저는 백엔드 시스템을 일반화하고 자동화하는 작업들을 많이 하고 있고요. 주로 개발 업무와 업무 스케일이 커지면서 모니터링도 많이 하고 있습니다.

브랜디에 업스테이지의 추천
AI Pack을 도입하는 프로젝트 전반에
대한 이야기도 들어보고 싶습니다.

원성

패션 쇼핑앱 브랜디는 국내 600만명(2022년 9월 기준) 이상의 회원수를 확보하며 명실상부한 여성 패션쇼핑앱 Top 3로 자리하고 있습니다. 이에 다양한 데이터를 기반으로 초개인화된 제품 추천 솔루션 등 추천팩 개발을 위한 주요한 고객이죠. 그래서 여러 요구사항에 맞춰 사전 조율하고 준비하는 과정에 시간을 많이 들였습니다. 지금은 브랜디를 시작으로, 다른 고객사에도 도입할 수 있는 표준화된 프로세스를 만들고 있는데요. 시간 단축과 표준화된 서빙 제공 등을 위해 정성을 쏟고 있습니다. 여기서 표준화된 서빙이란 브랜디의 요구사항을 만족하면서도 브랜디에만 쓰이는 게 아니라, 다양한 고객사에도 추천 시스템을 제공할 수 있는 ‘틀’을 만든 거라고 생각하면 됩니다.

브랜디와의 프로젝트는
언제부터 시작하셨나요?

준현

(정확한 시작 시점보다는) 프로젝트 자체의 시작으로 올라가면, 지난 5월 H&M 데이터를 활용한 캐글 대회에 챌린지스 팀과 추천 팀이 출전을 했는데요. 두팀 모두 은메달을 수상할 정도로 우수한 성과를 거뒀습니다. 그 대회에서 검증된 추천 모델을 기반으로, 브랜디 데이터에 피팅(fitting)시키는 작업을 진행하게 되었어요. 그래서 프로젝트의 근원으로 올라가면 캐글 대회 부터였다고 할 수 있습니다.

전 세계에서 제일 좋은 모델들을 가져와 브랜디의 매출 지표에 적합한 추천을 진행하고 대략 8월부터 AB 테스트를 시작했습니다. 짧은 기간 내에 테스트를 통해 우리의 성과를 입증했습니다. 매출, 클릭 등 여러 지표에서 기존의 타 추천 시스템 보다 우수한 성능을 입증했고 자연스레 계약까지 이어지게 되었습니다.

업스테이지의 추천 AI Pack은
구체적으로 브랜디의 어떤 곳에 적용되었고,
또 어떠한 효과가 있었나요?
해당 프로젝트를 진행하면서 가장 중요하게
잡았던 목표도 궁금합니다.

원성

현재는 브랜디 앱의 홈 지면에 개인화 AI추천 형태로 적용되고 있어요. 업스테이지의 추천 AI Pack 적용 후 효과는 총 노출당 구매전환액이 해당 사업 시작하기 전 대비해서 60% 가까이 증가했습니다. 브랜디의 데이터최적화실이 올해 초에 사업을 시작하면서 목표로 잡았던 +32%에 비해 거의 2배가 상승한 셈입니다. 업스테이지의 AI 모델만으로 보면 기존 대비 평균 +150%까지도 증가했습니다.

대개 추천 시스템을 도입하려는 고객사들이 ‘어떤 것부터 해야 할지’, ‘무엇을 최적화해야 하는지’를 잘 모르는 경우가 많습니다. 본인 서비스의 중요한 지표가 무엇인지 모르는 경우가 많은데요. 브랜디는 “노출 당 구매 전환 금액에 대한 멀티터치 어트리뷰션 최대화”, 즉 노출 당 구매 전환 금액을 최대화해달라는 명확한 지표가 있었습니다. 기존에는 클릭률인 ‘CTR’을 최적화하는 경우가 많은데, 브랜디는 ‘매출 기여액’이라는 실제 비즈니스와 연관성이 높은 지표를 직접적으로 최적화한다는 측면에서 기존 문제와는 결이 달랐고 여러모로 시너지를 낼 수 있었다고 생각합니다.

고객사와 공동의 목표 아래,
One Team처럼 협업하셨다고 들었어요.
굉장히 중요하면서도 어려웠을 것 같은데요.
자유롭게 회고 소감을 들어보고 싶습니다.

남준

여러 문의사항에 대해 고객사와 조율하는 과정을 많이 신경썼던 것 같아요. 고객사의 내부 사정에 따라 문의/공유에 대한 우선순위가 정해질 수 있는데요. 시급한 이슈의 순위가 고객사 상황에 맞춰 조율이 필요하더라구요. 그래서 고객사와 소통을 원활히 하기 위해 빠르게 캐치하고 문의하고 또 팔로업(follow-up) 하는 과정을 잘 챙기려고 했습니다.

현우

협업 과정에서 이슈가 생길 때도 있는데요. 지속적인 소통을 통해 이슈를 공유하고 서로 현황을 파악하는 것이 중요하다고 생각합니다. 처음에는 브랜디와 이러한 부분에 대한 소통을 이어가는 게 어렵기도 했지만 포기하지 않고 여러 과정과 노력을 거듭했습니다. 서로 공유와 논의, 또 의사결정의 과정을 거쳐 보다 끈끈한 신뢰 관계를 구축했기 때문에 결과적으로 더 좋은 성과를 가져올 수 있었다고 봅니다.

준현

고객사에 대한 이해를 높이게 되었습니다. 실제 데이터 구축과 사용 데이터는 리테일과 연계되어 있고 데이터를 잘 보여주고 저장하기 위해 포매팅(formatting)이 되어 있는데요. 추천에서 실사용하는 형식과 꼭 맞지 않는 경우가 있어요. 서로 좀 더 최적화된 포맷을 맞춰가는 과정이 있었고 우리가 필요한 요구사항도 요청했습니다. 그래서 더 많은 성과를 달성할 수 있는 좋은 협업이 이루어지지 않았나 싶습니다.

원성

네 저도 동감하고요. 덧붙여본다면, 대부분 추천 문제들이 클릭 최적화하는 문제를 푸는 반면에 브랜디는 매출과 연관된 문제였어요. 상대적으로 ‘매출’에 대한 연구가 ‘클릭’에 대한 연구보다 적어요. 그래서 PoC 초반에는 리서치, 스터디를 진행하면서, 브랜디의 문제를 설계하는 데 정성을 기울였던 것 같아요. 예를 들어 ‘기업 매출액’은 실제로 매출이 발생해야만 우리가 측정할 수 있는 거잖아요. 근데 오프라인 데이터로는 측정하기가 쉽지 않아서, 오프라인에서 어떤 실험을 설계해야 온라인 실제 결과에서 좋은 기업 매출 수치로 이어질지, 이러한 실험 설계를 하는 게 어려웠는데 유의미한 결과를 낼 수 있어서 뿌듯합니다.

브랜디와의 협업 이후
시장의 반응도 체감이 되실까요?

준현

이커머스, 그 중에서도 패션 분야 고객사의 문의가 많이 늘고 있고요. 실제 서비스 진행을 위한 논의도 많이 이루어지고 있습니다.

좋은 소식 또 기대해봅니다. 앞으로
고객사가 늘어나도 표준화된 서빙을
통해 여러 고객사에 솔루션을 제공하는 게
훨씬 수월해지지 않을까 싶은데요.

준현

네! 우리가 좋은 모델을 확보했기 때문에 고객사에 알맞는 옵션을 설정할 수 있도록 시스템을 만들었습니다. 다른 고객사들이 원하는 성능 지표에 맞춰 모델을 튜닝할 수 있게 된거죠!

브랜디 협업을 계기로, 추천팀 내부
또는 추천팀과 챌린지스팀이 함께
성장했거나 레슨런했다는 포인트가
있다면 말씀을 부탁드려보고 싶어요.

현우

RecSys팀과의 협업이 브랜디 프로젝트가 처음은 아니었습니다. H&M 캐글 경험을 같이 하면서, 최신 기술들은 물론 추천 문제를 어떻게 해결하고 접근/분석했을 때 성능이 올라가는지에 대해 스터디를 했어요.

추천 시스템 분야 최고 권위의 학회인 ACM RecSys에서 주최한 ‘RecSys 2022 AI 추천 대회’와 글로랑의 온라인 키즈 스쿨 ‘꾸그’ 추천 AI 솔루션 등 계속되는 협업 과정을 통해 최신 기술, 기술 활용법 등에 대해 공유하면서 많이 배웠던 것 같아요. 또 자연스레 팀 내에 어떻게 공유/논의하고 협업 과정을 이어가야 하는지를 경험하는 좋은 기회가 되었고 기억에 많이 남습니다.

준현

Kaggle에서 좋은 성능/점수를 기록해온 AI Challenges 팀과의 협업 덕분에 해당 분야의 전문 지식과 경험을 많이 습득할 수 있었습니다. 고객사와의 협업을 통해서는 오랫동안 해결하지 못한 문제점이나 요구사항을 같이 풀어나가고, 또 그 과정에서 많은 걸 배울 수 있었던 것 같아요. 우리가 아무리 잘 드는 칼을 들고 있어도 어떻게 휘두르는지 모르면 안 되잖아요. 그런 걸 배웠다는 점이 우리가 한층 더 성장할 기회였던 것 같아요. 또 이러한 배움을 바탕으로 모델이 더 향상되고 브랜디의 성과도 점차 더 올라가는 방향으로 발전할 수 있어 좋았습니다.

원성

AI Challenges팀은 성능을 높이는 전문가그룹이다 보니까 협업을 통해 그런 지점의 경험을 많이 배운 것 같아요. 저희는 문제를 어떻게 설계하고 어떻게 실제 고객사에 제공할까라는 측면을 고민하고 AI Challenges팀은 성능 측면에서 깊게 고민하니까 서로 시너지가 많이 났던 것 같습니다.

AI Challenges팀 외에도 AI Biz팀, 마케팅팀 등 여러 팀과도 좋은 협업이었다는 생각이 듭니다. 비즈팀에서 브랜디 계약을 잘 완료해주셨고 커뮤니케이션팀, 마케팅팀에서 멋지게 홍보를 해주셨는데, 그런 측면에서 One team으로 노력해주신 여러 팀에 감사하고 좋은 협업을 경험할 수 있었다고 생각합니다.

남준

저는 백엔드와 리서처 분들과의 협업이 가장 기억에 남는데요. 우리가 하나의 프로덕트를 만든다고 했을 때 (저희는 AI 프로덕트를 만들기에) 모델이 백엔드와 연관이 될 수밖에 없거든요. 백엔드하고 모델하고 나눠서 가는 구조가 아니라 지금과 같이, 원팀으로 계속해서 유기적으로 교류해서 나아가는 협업 방식이 잘 맞는다고 많이 느꼈습니다. 그리고 모델에 필요한 데이터들이 항상 있거든요. 데이터를 어떻게 전달할지에 대한 협의가 계속 필요한데, 지금의 조직구조가 여러모로 도움이 되지 않았나 싶습니다.

앞으로 추천 AI 시스템 분야에서
도전하고 싶은 목표나 방향성이 있으신가요?

원성

현재 업스테이지의 추천 팩(Pack)은 ‘추천 시스템’이라는 다소 좁은 분야의 애플리케이션에 집중하고 있는데 조금 더 전체 기업 관점에서 넓게 생각해 볼 수 있어요. 우리가 고객의 데이터를 받아서 고객의 KPI, 예를 들면 매출, 체류시간 등을 최적화 시켜준다든지 하는 식으로 고객의 profitability optimization(수익 극대화)에 도움이 되는 도구로의 확장을 고려하고 있습니다.

어려운 프로덕트를 함께 만드는 여정,
One team & One step more로
더욱 단단하게!

평소 일하면서 중요하게 생각하는
‘업스테이지 웨이(Upstage way)’를
여쭤보고 싶습니다.

원성

저는 One team이 중요하고 또 제가 좋아하는 가치라고 말씀드리고 싶어요. 업스테이지가 수평적인 기업문화를 가지고 있기 때문에 주니어도 원팀으로 오너십을 가지고 일할 수 있고 리더와 수평적으로 소통하고 그런 와중에 창의성이 극대화되는 효과가 있는 것 같아요. 리더는 리더만의 고민이 있고 주니어는 주니어만의 고민이 있고 중간에 또 그들만의 고민이 있을 수 있는데 이것들이 서로 상보적인 시너지가 일어나는 것 같아요. 수평적인 조직 문화에서 일하면서 저도 주니어분들한테 많이 배우고 또 리더분들한테는 당연히 배울 게 많고 그런 점이 업스테이지를 보다 특별하게 만들어주는 요인이 아닐까 생각합니다.

남준

저도 One team을 가장 좋아하는데요. 저희 팀은 백엔드와 리서처 분들이 한 팀에 있거든요. AI 프로덕트를 함께 만들다 보니 이 두 직무가 떨어질 수 없다고 생각을 해요. 왜냐하면 데이터로 묶여 있기 때문에 협업을 많이 하거든요. 같은 프로젝트를 맡아서 진행하고 있는데 “너는 백엔드고 너는 리서처니까 따로따로 일을 진행하자”라는 방식은 맞지 않고, 정말 원팀으로 같이 협업을 해야지만 좋은 프로덕트를 만들 수 있다고 생각합니다.

또 다른 하나는 우리가 만들려는 프로덕트가 사실 쉬운 프로덕트는 아니라고 생각을 해요. 왜냐면 세상에 없던 걸 만드는 게 목표이기 때문에. 그렇기 때문에 때론 목표가 흔들릴 수도 있다고 생각을 합니다. 내가 잘하고 있는지 의문이 들 수 있는데 그럴 때 가장 도움이 되는 건 우리 팀이 원팀이고 그 안에서 계속해서 신뢰를 주고받는 게 굉장히 중요한 것 같아요. 저도 거기서 힘을 많이 얻고 ‘우리가 이 목표를 정말 이룰 수 있는 거구나’라는 믿음을 많이 얻거든요. 그래서 원팀이 굉장히 중요하다고 생각합니다.

준현

저는 ‘One step more’가 중요한 가치라고 생각합니다. 한 번 더 고민하고 한 번 더 노력하고 어떻게 하면 더 쉽게, 어떻게 하면 더 좋게, 어떻게 하면 더 우월하게 뭔가를 만들 수 있을지 고민을 “한 번 더 해본다”라는 게 저희에게도 그렇고 저희 서비스를 받는 고객사들에게도 굉장히 매력적인 포인트가 되는 것 같아요. 저희도 항상 더 한 발자국 더 나아가기 위해서 노력하고 있다고 말씀드릴 수 있습니다.

그러면 ‘업스테이지 웨이’ 실천에서
고민이 되거나 어려운 항목이 있을까요?

원성

저는 ‘One step more’가 사실 가장 어려워요. 왜냐하면 주어진 시간이 있는데 그 안에서 더 나은 방안을 찾는 것도 사실 시간이 소요되는 일이잖아요. 우리가 주어진 시간 안에서 얼마나 효율적으로 ‘One step more’를 찾는지가 항상 힘든 것 같아요. 그래서 ‘One step more’는 굉장히 큰 도전이고 지금도 그 답을 계속 찾아가는 과정에 있다고 생각합니다.

남준

태스크 이후에 공유를 위해 잘 정리하는 과정이 중요한데요. 정해진 기한이 있는 태스크가 다수이고 일단 일정에 맞춰 일을 하고 또 새로운 태스크가 생겨나면 충분히 정리를 못하게 됩니다. 팀에 정리의 왕들이 있어서 많이 보완해 주고 있지만 스스로 공유 측면에서 보완이 필요하다고 생각을 하고 있습니다.

현우

저는 ‘공유’가 가장 중요하다고 생각하면서도 어려운 것 같아요. 왜냐하면 저희 팀은 각자 조금 다른 테스트 일을 하는 경향이 있거든요. 저는 추천 시스템 경진대회 업무를 하고 있지만 Document AI팀과 협업하시는 분도 있어요. 서로 다른 일을 한 경험을 공유하거나 회의를 해야 하는 상황에서 내가 무엇을 하고 있는지, 어떤 고민이 있는지, 어떤 테스트를 지금 해결하고 있는지 등을 매주 회의에서 전달하고 공유해야 하는데 쉽지 않더라고요.

업스테이지 웨이를 잘 실천하기 위해
노력하는 ‘나만의 노하우’가 있으실까요.

현우

AI Challenges팀 내부적으로 공유에 대한 고민을 많이 하고 있는데요.  다른 팀 벤치마크를 통해 ‘문서 작업해보자’ 가 하나의 방안이었어요. 실제 RecSys팀의 노션페이지를 벤치마크하고 있는데요. 준현님을 비롯해 정리를 잘해주셨더라고요. 다른 사람들이 어떻게 하는지를 보면서 저는 조금 노하우들을 배워가고 있지 않나 생각을 하고요, RecSys팀과의 브랜디 협업을 하면서 ‘공유’ 실천에 많은 도움을 얻었다고 생각합니다.

준현

‘One step more’를 말씀드리고 싶습니다, 우리 회사가 좀 다른 부분은 리더십을 가지고 의사결정에 참여하고 또 공유받을 수 있다는 건데요, 의사결정을 해 나갈 때 내가 ‘One step more’ 할 수 있다는 가치를 배우고 받을 수 있다는 것이 제게는 큰 도움이 되는 것 같습니다.

우리 회사는 다른 회사와 달리 주니어도 오너십을 가지고 중요한 의사결정에 참여하거나 공유받을 수 있어요. 이렇게 적극적으로 참여하다 보면, 정말로 제가 만든 제품이고 그것이 고객에게 평가받는다고 생각하게 됩니다. 그런 마인드를 가지고 일하다 보니 자연스럽게 ‘One step more’하게 되는 것 같아요.

마지막으로 앞으로의 계획 또는
다른 스타분들께 하고 싶은 말씀 부탁드립니다.

현우

올해 Kaggle H&M 챌린지, ACM RecSys 챌린지 2022 등 좋은 성적을 거두었는데요. 한편으론 가장 높은 순위에서 아쉬운 점들이 있었어요. (그런 부분을 잘 보완해서 브랜디의 좋은 결과가 있긴 했지만요.) 내년에도 추천 대회가 열릴텐데 올해 남은 기간 추천분야 공부를 하면서 내년에는 더 좋은 성능으로 논문을 쓰고 더 좋은 성과로 보도자료도 나갈 수 있게 하는 게 앞으로의 목표이자 계획입니다.

준현

저는 고객에게 도움이 되고 ‘Making AI Beneficial’을 할 수 있는 프로덕트를 만드는 데 관심이 많습니다. 쉽게 실서비스에 적용할 수 있는 추천 시스템을 만든다거나, 어느 방향이 미션 실현에 도움이 될 수 있는 제품을 만드는 방향일지 고민해보고 있어요. 이러한 과정이 실제 전사의 가치를 높일 수 있는 동력이 됐으면 좋겠습니다.

원성

저는 올해 남은 PoC들을 잘 마무리하는 게 목표고요, 내년을 위한 준비도 조금씩 해야 될 것 같아요. 최근에 테크 리더가 되었는데 좀 부담도 되면서 잘해야겠다라는 생각이 듭니다.

남준

저는 앞으로 고객사를 잘 대응할 수 있도록 업스테이지의 추천 AI Pack을 잘 자동화시키는 게 목표입니다. 그리고 일하면서 부족한 부분들을 함께 일하는 스타분들이 잘 채워주셔서 감사하다는 말씀 전하고 싶고, 남은 한 해를 잘 마무리 했으면 좋겠습니다.

← 블로그 돌아가기