두잇 팀이 한 방향을 보고 달려갈 수 있는 이유는 바로 ‘데이터'라는 강력한 무기가 있기 때문입니다. 그렇기에 팀의 장기적인 방향성과 당장의 우선순위를 정하고, 임팩트 있는 실험을 만들어내는 모든 과정에서 데이터분석가는 함께 하는데요. 두잇의 유일한 데이터분석가로 시작해서, 이제는 3명의 DA 챕터를 리드하고 있는 라이더팀의 데이터분석가 영선님을 만나보았습니다.

안녕하세요 영선님, 자기소개 부탁드려요!

안녕하세요, 1년 4개월째 두잇과 함께 하고 있는 윤영선입니다. 두잇 최초 데이터분석가로 합류해서, 어느덧 팀원 2명을 리드하고 있어요. 데이터분석, 재무 모델링, 투자사 대응 등의 일을 하고 있고 지금은 라이더팀에서 DA를 하고 있습니다.

영선님의 두잇 합류 스토리는 정말 유명한데요.

많은 분이 신기하다고 생각하신 것 같아요. 결혼할 여자친구가 미국에 있고 저도 실리콘밸리에 입사하게 되어 이민 준비를 모두 마친 상황이었거든요. 한국을 떠나기 전에 잠시 아는 형을 도와준다는 마음으로 두잇에 왔어요. 근데 두 가지가 충격인 거예요. 첫 번째는 이렇게까지 지표를 보면서 일하는 팀을 처음 봤고, 두 번째는 그 지표가 말도 안 되게 좋았어요. 저희 계속 그 이야기하잖아요. 리텐션 40%가 넘으면 세상을 바꿀 기업이 탄생하는데 우리는 70%를 만들었다고. 이 기회를 놓칠 수 없겠다는 마음에 바로 이민을 포기했어요. 감사하게도 여자친구도 제 선택을 공감해 줘서, 저 대신 한국으로 이민을 와 함께 하고 있습니다. 무언가를 포기했다는 것을 신기하게 봐주시는 것 같은데, 전 오히려 제가 인생에서 큰 것을 얻었다고 생각해요.

1년이 넘도록 위클리 얼라인먼트의 첫 번째 발표 자리를 지켜주고 계시잖아요. 전사적으로 공유해주고 계신 지표를 소개 부탁드려요.

가장 중요한 것은 리텐션이에요. 리텐션이 거래액보다 훨씬 중요한 지표예요. 이유는 리텐션이 나오지 않는다는 것은 결국 유저가 이탈한다는 이야기고, 서비스가 성장할 수 있는 상한선이 정해진다는 뜻이거든요. 예를 들어 리텐션이 50%이고 관악구 인구수가 20만명이라면, 우리 유저는 최대 10만명밖에 되지 못한다는 뜻이죠.

그래서 전사적으로 리텐션을 가장 중요하게 보고 있고, 리텐션에 영향을 주는 하위 지표들을 팀별로 나눠 보고 있어요. 라이더팀에서는 그게 배송 지연율이고, 셀렉션팀에서는 스토어 입점 수, 고객팀에서는 결제 전환율인거죠.

영선님의 데이터 인사이트가 실제 프로덕트와 비즈니스에 어떻게 녹아드는지 궁금해요.

예를 들어 신규고객의 첫 번째, 두 번째 주문을 30분 이내로 가져다드리면 리텐션이 18%p 증가한다는 데이터를 찾은 적이 있어요. 매우 큰 수치였고, 바로 첫번째 두번째 주문의 배송지연율을 낮추는 실험을 진행했어요. 그 결과 실제로도 리텐션에 큰 차이가 나서 전체 배포를 했죠. 데이터분석가는 이렇게 우리가 어떤 목표지표를 보고 가야 하는지 그 방향성을 정해주기도 하고, 목표 달성을 위해 어떤 실험을 설계해야 하는지 인사이트를 전달해주기도 해요.

DA 챕터가 한 명에서 세 명이 되면서 달라진 점도 있을 것 같아요. 팀으로서는 어떻게 임팩트를 만들어 나가고 있나요?

예전에는 제가 유일한 팀의 엔진이니깐, 제 쿼리 속도가 팀 임팩트의 유일한 변수였어요. 지금은 제 개인의 역량을 크게 올리는 것보다, 팀의 역량을 조금씩 올릴 때 더 큰 임팩트가 나와요. 그래서 원래는 저 혼자 모든 도메인을 커버했다면, 이제는 도메인을 분리하고 각자의 것에 스페셜티를 높이고 있어요. 저는 라이더팀을 메인으로 보게 된 거죠. 물론 팀과 자리가 분리되면서 함께 소통할 시간은 줄어들었지만, 그만큼 의식적으로 찾아가서 인사이트도 던져주고 대화를 많이 나누려고 하고 있어요.

DA팀 리드로서 중요하게 생각하는 원칙이 있나요?

당연히 가장 중요한 것은 정합성이에요, 이건 절대 타협할 수 없어요.

그다음으로 중요한 것을 꼽자면 동료분들에게 방향성이나, 그다음 액션을 제시할 수 있는지일 것 같아요. 수많은 데이터를 보면 정말 재미있을 때가 많거든요. 그런데 저는 재미있는 사실을 연구하러 온 게 아니잖아요. 결국 제가 알아낸 인사이트는 임팩트 있는 가설을 세우는 데 도움이 되어야 하고, 실험의 성공률을 높여야 하고, 장기적으로 우리 비즈니스와 프로덕트가 가야 하는 방향성을 제시해 줄 수 있어야 해요. PO나 다른 동료분들이 길을 잃을 때 명확하게 방향성을 알려줄 수 있는 사람이어야겠죠. 수동적으로 숫자를 만지는 것이 아니라, 능동적으로 숫자 속에 숨은 세상의 진리를 찾아내는 것이 중요해요.

두잇은 실험을 정말 많이 하는 조직이잖아요. 어떤 순서로 이루어지는지 궁금해요.

모든 실험은 가설로부터 시작해요. 가설은 이전 실험의 결과로부터 출발할 때가 많지만, 이외에도 다른 서비스를 레퍼런스 삼아 나올 수도 있고, 누군가의 번뜩이는 아이디어로부터 출발할 수도 있어요.

가설은 실험으로 바로 검증할 수 있지만, 유효한 가설인지 확인하기 위해 데이터를 먼저 확인해요. 이미 가지고 있는 데이터를 통해서 실험의 최대 임팩트를 미리 측정할 수 있거든요. 예를 들어 A 피쳐를 수정해서 원하는 지표를 x% 올릴 수 있겠다는 가설이 있다고 해요. 하지만 막상 데이터를 뜯어보니 A 피쳐를 사용하는 사람이 전체의 10%도 안 된다면, 아무리 실험이 성공했다 한들 임팩트는 크지 않겠죠. 데이터분석가는 100개의 가설 중 가장 유효한 한 가지가 무엇일지 알아내서, 실험의 성공률을 높이는 역할을 해요.

그다음에는 PO가 실험을 설계하고, 개발과 디자인을 하죠. 외부 변수를 온전히 통제하기 위해 주로 A/B테스트를 진행하고, 우리가 원하는 결과가 나왔는지 사후 분석을 해요. 그 결과를 토대로 또 다른 가설을 설계하고, 반복하는 거죠.

데이터가 정말 강력한 무기네요. 해석하기 어려운 경우는 없나요?

정말 많아요 (웃음). 실험 결과를 신뢰하기 위해서는 A와 B가 서로 독립적이어야 하잖아요. 하지만 라이더팀은 A와 B가 상호작용할 수밖에 없기 때문에 어떻게 실험을 설계하고 해석할지 PO와 많이 논의해요.

예를 들어 라이더에게 배차된 주문을 거절하는 버튼을 없애는 실험을 한다고 해볼게요. 어떤 콜이든 받아야 하니깐 배송 지연율이 감소하는 것을 성공지표(success metric, 가설을 검증할 수 있는 지표)로 볼 거예요. 반면, 라이더님의 CS나 불만, 혹은 두잇 서비스를 이탈하는지를 장기적인 가드레일지표(guardrail metric, 전사적으로 중요하거나 부정적인 영향을 받을 수 있는 지표)로 확인해야겠죠.

실험을 위해 B는 거절버튼이 없고, A는 거절버튼이 있겠죠. 거절버튼이 있는 A는, 가깝고 편한 콜은 받고 받고 싶지 않은 콜은 거절할 거예요. 그러다 보면 거절하는 콜들이 모두 B로 몰리게 되겠죠. B는 안 좋은 콜은 가득하고 거절도 할 수 없는 상황이 될 거예요. A와 B가 상호작용하기 때문에 엄밀한 A/B테스트가 불가능하게 된 거죠.

정말 곤란하네요. 그런 경우는 실험을 어떻게 설계하나요?

다양한 방법이 있겠지만, 지금 시도해 보는 방법은 일별로 분석하는 거예요. 모든 라이더님에게 거절버튼을 없애버리고, 전후 비교를 하는 거죠. 대신 이렇게 분석하면 통제할 수 없는 외부 변수가 정말 많아져요. 날씨, 타 플랫폼의 시급, 운영 중인 라이더, 시간별 주문수 등 정말 많죠. 그래서 어떤 변수들이 영향을 주는지 알아내고, 그 변수들이 모두 동일한 날과 비교해요. 또 하루하루가 최대한 안정적으로 운영될 수 있도록 운영팀에서 애써주고 계시기도 하고요.

두잇에서 좋은 데이터분석가란 어떤 사람일까요?

데이터를 뽑는 것은 사실 가장 쉬운 일이라고 생각해요. 하지만 그것을 기반으로 사람들을 설득하고, 방향성을 제시하는 건 어렵죠. 데이터분석가도 자신만의 가설이 끊임없이 있어야 하고, 그것을 끝까지 해볼 수 있어야 하는 것 같아요.

어떤 분들이 두잇에 오면 즐겁게 일하실 수 있을까요?

성장하고 싶은 분이 온다면 참 많은 것을 할 수 있을 것 같아요. 여기서의 성장은 단순히 쿼리 실력이 아니라, 범 업무적인 성장인 것 같아요. 동시에 인간적인 성장이 될 수도 있고요.

우리는 팀으로 일하고, 팀은 목표를 달성하기 위해 존재하잖아요. 그리고 그 목표를 가장 효과적으로 달성하기 위해 각자의 무기가 있는 거고요. 개발자는 개발을, 디자이너는 디자인을, 데이터분석가는 데이터를 보는 능력이 있고 PO는 그 모든 것을 잘 종합하고, 기획을 하고요. 하지만 목표 달성이 목표라면 자신의 롤에만 몰두해 있으면 안 되는 것 같아요. 없는 것을 만들어내기 위해서는 단순 운영이나 실행의 영역도 매우 크고, 그런 것들을 팀 모두가 나눠서 할 줄 알아야 해요. 마치 제가 운영을 하고, PO 분들이 요즘 지사장님들 영업을 하고 있는 것처럼요. 그래야지 도메인에 대한 지식도 빨리 쌓이고, 더 멋진 인사이트를 낼 수 있게 되는 것 같아요.