AI & Data Revolution Night /w Coupang 후기
- Ada Kim
- 4월 14일
- 9분 분량
지난 4월 11일 금요일, 창발과 창발의 연중 후원사인 쿠팡이 공동으로 테크 세미나를 개최했습니다. "AI & Data Revolution Night" 이라는 주제 아래, AI/ML의 현재를 이끄는 테크 리더들이 모여 최근 AI와 데이터 사이언스 분야에서 가장 주목받는 기술과 트렌드에 대해 각자의 생각과 경험을 공유하며 심도있는 토론을 펼쳤습니다.
6시가 되기도 전에 쿠팡 오피스는 수많은 참석자들로 북적였습니다. 다양한 분들이 한 자리에 모여, 다과와 함께 안부를 묻고 대화를 나누는 모습이 훈훈했습니다.
세미나는 총 3부로 진행되었습니다:
1부: 쿠팡의 환영 인사 및 AI 기술 트렌드 소개
2부: 라이트닝 토크 - 델의 엔터프라이즈 AI 구축 사례
3부: 애플, 마이크로소프트, 세일즈포스, 메타 등 AI/ML 전문가들의 패널 토크
쿠팡의 환영 인사 및 AI 기술 트렌드 소개
올해로 설립 15주년을 맞이하는 쿠팡(Coupang)은 한국을 대표하는 이커머스 기업으로, 로켓배송이나 와우 멤버십 등 혁신적인 서비스를 잇따라 내놓으며 2024년 흑자전환을 이루었습니다. 로보틱스 및 AI 알고리즘을 최신 물류 기술에 꾸준히 도입한 결과, 미국 경제전문매체 ‘패스트 컴퍼니’가 뽑은 ‘2025년 세계에서 가장 혁신적인 유통기업’ 2위에 선정되기도 했습니다.
Dave Watson - About Coupang
세미나 첫 순서는 쿠팡의 글로벌 테크 리크루팅을 담당하는 시니어 디렉터인 데이브 왓슨의 환영 인사였습니다. 한국에 대한 애정을 표시하며 훈훈하게 시작된 이야기는 다음과 같은 질문으로 이어졌습니다. “인터뷰에서 엔지니어에게 “What do you build?” 라고 질문을 한다면 뭐라고 대답할까요?”
AI 파이프라인이나 LLM이라고 대답하는 대신, 그는 서울에 대해 얘기하기 시작했습니다. 서울은 수많은 고층 아파트와 높은 인구밀도 때문에 적은 규모의 빈번한 쇼핑이 이루어지는 곳입니다. 쿠팡의 엔지니어들은 이러한 환경에서 살아가는 사람들의 니즈를 언제나 염두에 두고, 주문하기도 전에 미리 빠르고 정확하게 그 주문을 채워줍니다.
엔지니어가 만드는 건 단순히 눈앞의 코드나 특정한 피쳐 그 이상으로, 하나의 거대한 도시에서 살아가는 사람들의 생활을 만들어 가는 것이라고, 그는 대답했습니다. 커리어의 다음 스텝을 고민하고 있을 이들의 시야를 넓혀주는 인상깊은 스토리텔링이었습니다.
Jagadeesh Huliyar - AI & Data in Coupang
이어서, 쿠팡의 프린시펄 엔지니어이자 시니어 디렉터인 자가디쉬 훌리야는 AI를 활용한 쿠팡의 물류 최적화를 소개했습니다. 환영 인사에서 쿠팡이 "무엇"을 하는지에 대한 큰 그림을 보여줬다면, 그 일을 실제로 “어떻게” 하는지에 대한 기술적이고 구체적인 발표였습니다.
먼저 그는 쿠팡의 주문 풀필먼트 최적화(Order Fulfilment Optimization) 프로세스에 대해 소개했습니다. 물류 도메인에서 풀필먼트(Fulfillment)란, 상품의 입고부터 보관, 포장, 배송, 반품에 이르기까지 고객 주문의 전 과정을 물류 전문 업체가 대행하는 서비스입니다. 이 과정에서 오퍼레이션 - 피킹 - 포장 - 분류 (operations - picking - packing - sortation) 단계를 거치게 됩니다.
매 단계를 원활하게 진행하기 위해, 다음과 같은 결정이 내려집니다:
어떤 풀필먼트 센터인가? 어떤 종류의 피킹/포장인가?
피킹을 언제 시작할 것인가?
어떤 루트를 따라야 하나? - 분류를 최적화해야 다시 뒤엎지 않을 수 있기 때문에 중요하다
피크타임엔 어떻게 인원을 배치하나?
각 풀필먼트의 수용력(capacity) 간 밸런스를 어떻게 맞출 것인가?
참석자분들이 진지하게 경청하는 가운데, 그는 왜 이 결정들이 중요한지 설명하기 시작했습니다.
자동화는 고정비이기 때문에 안 쓰면 손해 - 즉 고려해야 할 제약이다
밸런스가 안 맞으면 병목이 발생하며 피크타임의 비용이 증가한다
루트 및 교통상황 역시 비용에 영향을 준다
이러한 결정을 최적화하기 위해 앞으로 풀어야 하는 AI 문제에 대해서도 자세한 설명을 덧붙였습니다.
엄청나게 많은 옵션들이 가능한데, 그 중에서 가장 저렴한 옵션은 무엇일까?
정점(vertex)와 간선(edge)이 제각기 다른 거대한 그래프(Gigantic graph)를 어떻게 다룰까?
각각의 주문을 최적화할 때 발생하는 로컬 맥시마(local Maxima)는?
다항 시간(polynomial time)에 대한 답이 쉽사리 나오지 않는 NP-hard 문제도 걸려 있다
아마존이 아주 오래 전부터 고민해 온 주제를 쿠팡에서 새롭게 시작하려 한다고, 그는 덧붙였습니다. 현재 한국이 제공하는 다른 환경, 다른 제약, 다른 기회를 생각한다면 완전히 새로운 도전인 셈입니다.
라이트닝 토크 - 델의 엔터프라이즈 AI 구축 사례
델 테크놀로지는 유서깊은 IT 전문 솔루션 기업으로서, 서버, 스토리지, 네트워크, 클라우드 등 다양한 분야를 총망라합니다. 2023년도부터 회사의 비전 및 역량에 따라 AI에 집중적으로 투자하며 AI 기술 사업에 주력하고 있습니다.
David Oh - Enterprise AI adoption and deployment cases
델 테크놀로지에서 프린시펄 프로덕트 매니저로 엔터프라이즈 AI를 이끌고 있는 데이비드 오의 발표가 이어졌습니다. 먼저, 엔터프라이즈 AI 차원에서 온-프레미스(On-Premise)와 하이퍼스케일러(Hyperscaler)의 강점을 각각 소개했습니다.
온-프레미스는 기업이 자체적으로 소유, 관리 및 운영하는 IT 인프라를 말합니다. 다음과 같은 장점이 있습니다:
데이터 주권(Data soverignty) 및 프라이버시 보호에 유리하다
대기 시간(Latency)이 극적으로 짧고 즉각적인 리얼-타임 프로세싱에 강하다
토큰 기반 요금제에 비해, 장기적인 스케일링을 할 때 비용을 최적화하기 쉽다
반면 하이퍼스케일러는 초대형 분산 컴퓨팅 시설(Hyperscale)을 기반으로 다양한 솔루션을 제공하는 대형 클라우드 기업을 말합니다. AWS 세이지메이커가 좋은 예이며, 다음과 같은 장점이 있습니다:
최소한의 오버헤드(overhead)로 빠르게 움직일 수 있다
스케일링이 자유로우며 수요에 탄력적으로 대응한다
풍성한 MLOps 생태계 - 버저닝, 파이프라인, 트래킹, 모델 모니터링, CI/CD 등등이 잘 갖춰져 있다
다지역 및 글로벌 배포가 가능하다
따라서, 온-프레미스와 하이퍼스케일러를 오가며 하이브리드로 시스템을 구축하는 경우를 많이 고려한다고 합니다.
이어 그는 델에서 고객사 AI를 구축하는 실제 사례에 대해 설명했습니다. AI 인프라스트럭처 및 소프트웨어 구축 사이클인 데이 0에서 데이 2+에 이르기까지, 전략화 - 구현 - 도입 - 스케일링(strategize - implement - adopt - scale)을 거치게 됩니다. 이를 바탕으로 한 고객사의 AI 유스케이스로, 고객서비스 챗봇, 사내 지식 검색, 컨텐츠 생성, 워크플로우 자동화 등을 꼽을 수 있습니다.
기업에서 관리하는 데이터의 75% 이상이 거대 데이터 센터나 클라우드 대신 엣지에서 처리될 것이란 가트너의 전망에 따라, 델에서는 고객사의 AI를 위해 네이티브엣지(NativeEdge)와 같은 엣지 운영 소프트웨어 플랫폼 개발에 주력하고 있다고 합니다. 특히 AI 인퍼런스를 사용하게 되는 매뉴팩처링 등의 분야에서는 엣지의 리얼-타임 기능이 중요하게 여겨집니다.
발표에 따르면, 이미 델은 고객사의 실제 매뉴팩처링 현장에서 다양한 AI 사용 사례를 보여주고 있습니다. 웨어하우스에서는 공급 체인 자동화, 오퍼레이션에서는 RAG 기반 매뉴팩처링 챗봇, 디자인 및 엔지니어링에서는 코딩 어시스턴트나 디지털 트윈(digital twin) 기술 등이 벌써 활용되고 있으며, 이 모든 게 델 엣지 AI를 통해 구성 및 운영된다고 합니다. 이젠 매뉴팩처링에서도 LLM이 중요해졌습니다.
뿐만 아니라, 리테일 기업 고객의 유스케이스에서도 AI가 적극 활용됩니다. 특히 컴퓨터 비전 및 AI를 활용하여 매장에 실제 고객이 얼마나 있는지, 어떤 쇼핑 여정을 거치는지 분석합니다. 매장에서 일어나는 이상치(anomaly) - 절도 등도 잡아내고, 상품 진열 및 배치도 지속적인 최적화가 가능합니다.
보통 AI라 하면 오픈AI나 클로드 같은 생성형 AI 서비스를 가장 먼저 떠올립니다. 쿠팡과 델의 AI 활용 사례를 접하며 제조, 리테일 및 물류 분야에서 적극적으로 엣지 AI 및 LLM을 도입하려는 흐름을 생생하게 느낄 수 있었습니다. 특히 실제 현장에서 기술이 어떻게 도입되고 활용되는지에 대해 보다 구체적으로 파악할 수 있는 좋은 계기였습니다.
AI/ML 전문가들의 패널 토크
간단한 휴식 후 바로 패널 토크가 시작되었습니다. JIGO.ai의 CEO인 라이언 리(Ryan Lee)가 모더레이터를 맡아 진행했으며 (맨 왼쪽), 이하 패널리스트 4분이 참여했습니다 (왼쪽부터 순서대로):
여일(IL Will Yeo): 애플 AI/ML의 스태프 소프트웨어 엔지니어로, 홀로렌즈/AR/VR 분야를 거쳐 시리의 애플 인텔리전스를 담당하십니다.
제이슨 리(Jason Lee): 세일즈포스 AI 리서치의 프린시펄 리서치 사이언티스트로, 테슬라에서 오토파일럿을 담당했으며 현재는 세일즈포스에서 보이스 에이전트를 개발하십니다.
변병기(Byunggi Byun): 마이크로소프트의 프린시펄 어플라이드(applied) 사이언티스트 매니저로, 오피스 코파일럿 및 RAG 엔진의 R을 담당한다고 소개하십니다.
박두건(Dookun Park): 메타의 스태프 소프트웨어 엔지니어로, 광고 분야에서 랭킹 및 평가를 담당하십니다.
다들 다양한 커리어를 쌓아오셨는데, 주변에서 궁금해했던 전환점이나 커리어 전반을 흔드는 챌린지가 있었나요?
박 - 커리어 자체보다는 이주를 했을 때 생활 면에서의 변화가 챌린지였다. 특히 베이에서 시애틀 올 때, 한국에 다녀올 때도 그랬다. 한국 기업들이 AI를 바라보는 시선이나 협업 방식 등 흥미로운 지점이 많았다.
변 - 한 회사에서 오래 있었지만, 나름대로 그 안에서 챌린지나 변화들이 있었다. 빙에서 ML 경험을 많이 쌓았지만 오피스 제품에서는 그런 요소가 없었다. 이걸 이전 ML 경험을 많이 활용할 수 있는 기회로 만들었다.
리 - 졸업할 때 테슬라를 지원했는데 덜컥 들어가게 됐다. 소문대로 정말 힘이 많이 들었고, 1년 지나면 나간다는 팀에서 2년을 채우고 나니 그 후 직장 생활에서는 오히려 크게 어려움을 못 느꼈다.
여 - 다양한 분야를 오가는 걸 본래 좋아했다. 원래 공부하면 일하고 싶고 일하면 공부하고 싶다고 하는데, 소프트웨어 엔지니어링을 하다 보니 다시 리서치가 하고 싶어 홀로렌즈로 갔다. 지금은 또 다른 걸 해보고 싶어진다.
본격 AI 질문 - 각자의 분야에서 AI 관련해 가장 핫한 토픽이 무엇인가요?
여 - 시리 팀이니까 애플 인텔리전스, 애플의 AI를 우리 프로덕트에 유용하게 사용할 것인가? 특히 AI를 어떻게 매일 사용하는 제품에 녹여낼 것인가 질문하게 된다.
리 - 에이전트가 요즘의 화두다. 소프트웨어 자동화가 할 수 있는 범위가 이전과 비교할 수 없을 만큼 넓어져서 그걸 어떻게 인더스트리 및 사용자에 따라 가치를 더할 것인지? 세일즈포스는 CRM, 즉 B2B 엔터프라이즈이기 때문에 고객들에게 최대한 많은 파이프라인을 자동화해 주고 사람당 생산성을 올리는 작업에 집중한다.
변 - 역시 에이전트가 가장 큰 화두 아닌가? 지금까지 개발이라면 API를 정의하고 SAAS로 서비스를 했는데 이제 에이전트가 API와 동등한 급으로 올라서면서 백엔드 작업까지 맡길 수 있게 되어 간다. 이걸 어떻게 저비용 고효율로 활용할 수 있을까? AI 같은 경우엔 인풋/아웃풋이 딱 떨어지게 규정되지 않기 때문에 어렵다.
박 - 일단은 “되게” 하는 게 제일 중요하다. 올해의 화두는 (지브리 열풍을 보듯이) 마케팅이 아닐까 싶다. 이러한 트렌드가 미션 크리티컬한지 따졌을 때는 솔직히 회의적이다. 아직은 컨트롤이 어렵기 때문이다.
다만 이전의 블록체인이나 VR 열풍과는 달리, LLM에게서 느끼는 확실한 장점은 요약이다. 압도적으로 많이 쓰고 잘 쓰는 상황인데다, 보통의 Q&A는 답이 아주 정확할 필요가 없기 때문이다. 다만 모든 걸 LLM으로 해결하지는 못할 것이라, 앞으로의 출구전략이 관건인데 그걸 찾는 게 어려워 보인다.
리 - AI 전후의 소프트웨어 패러다임이 크게 바뀌었다. 그전엔 인간이 짠 코드의 버그를 인간이 직접 고치고, 다음엔 안 일어날 거라고 단언할 수 있었다. 그러나 AI는 결국 확률 모델이기 때문에 "확률적으로" 업무를 수행할 수밖에 없는데, 100% 결정론적인(deterministic) 결과가 나오기 어렵다. 특히 자율주행 같은 경우 사람이 직접 트레이닝을 하며 이슈를 수정하더라도 문제가 100% 고쳐질 거라는 생각을 할 수가 없다.
여 - 지금까지의 엔지니어링/사이언스에서 제일 중요한 게 결정론적 관점이었다. 즉, 재현성과 반복이 정말 중요했다. 근데 ML에서는 그게 너무 힘들어졌다. 예전엔 테스트 케이스에 맞춰 100%가 나오면 끝났는데, 이제 유저마다 데이터가 다르고 돌릴 때 결과조차 다르다. 스코프를 잘 잡으면 분명 스위트 스팟은 있겠지만 아직까지는 큰 장애물인 것 같다.
지금 현재 하고 계신 분야에서 AI 관련 문제가 생기게 된다면 어떤 문제일까요? 구체적이 아니더라도 예시를 들어 주시면 좋겠습니다.
여 - 오늘이나 내일 돌린 결과는 괜찮은데, 일주일쯤 후 돌렸을 때는 결과가 이상할 수도 있다. 이런 지점이 어렵다.
리 - 때문에 작은 실수가 중대한 이슈를 초래하는 분야에서는 ML을 도입하는 게 보수적이다. 모델이 실수하면 인명피해가 발생하는 분야에서는 특히 어려울 거다. 가장 빨리 활용되는 지점은 실수해도 괜찮은, 즉 엔터프라이즈나 b2b - 몇 번 돌렸을 때 한번만 결과가 좋아도 되는 분야들이다.
변 - 결국 모델도 사람의 손으로 구현한다. 구현 과정에서 현실적인 문제로 인해 생략되거나 간소화될 수 있다. 즉 모델 자체는 확실하게 결과값을 준다 하더라도 그걸 실생활에 적용할 때는 얘기가 다르다.
가장 큰 문제는 평가할 때의 비용이 커지는 거다. 모든 테스트 케이스를 다 평가할 수 있으면 너무 좋지만, 그러면 확신에 비례한 만큼 비용이 들어가니 정확도의 수준을 정해놓을 수밖에 없다. 가령 90% 정확도일 때, 그 이상을 원했던 고객 입장에서는 기대한 만큼의 아웃풋이 안 나오게 된다.
게다가 경쟁이 치열하기 때문에 평가 뿐 아니라 모델 트레이닝 및 배포에도 시간과 비용이 든다. 현실적인 문제가 쌓이다 보니 이제 누가 하드웨어를 가장 비용 대비 효율적으로 만들 수 있느냐가 중요해 보인다.
각자의 전문분야에 비추어 볼 때, 향후 12개월 내 AI 관련해 어떤 변화가 있을까요?
박 - 광고 분야에서는 그다지 큰 변화는 없을 거라 생각한다. 다만 ML로 85%의 성능까지는 진짜 금방 도달하는데, 1% 올리기가 너무 힘들다. 특히 데이터 사용이 개인 프라이버시랑 직결되는데, 거의 대부분이 자기 데이터를 사용하는데 동의하지 않을 거다. 이 장벽이 대단히 높다.
그래서 기술적인 접근 외 다른 방식이 성행할 것 같다. 수많은 지브리들이 나오지 않을까 (웃음) 모두가 AI/ML에 관심이 많고, 그 관심을 유지하기 위한 마케팅 역시 지속될 것이며, 이미 인더스트리가 형성이 됐기 때문에 계속 펀드를 유치하려 할거다.
리 - 1년 내 눈에 띄게 유의미한 변화는 없으리라 본다. 대신 AI가 만든 컨텐츠가 인터넷에 늘어날 거다. 아마 5년 정도 지나면 AI가 생성하는 인터넷 트래픽이 사람보다 많아질 거다. 각자의 에이전트가 생겨서 장 보고, 이메일 보내고, 비행기표 예약 등등 다 알아서 해 주지 않을까.
여 - 1년으로 잡는다면, 테크 직군 외 일반 대중들도 슬슬 브라우저 검색에서 LLM 검색으로 일부 옮겨가지 않을까 예측한다.
라이언 - 다들 눈높이가 계속 올라가고 있다. 스타트업은 초기 MVP를 어느 수준 이상 올려놓지 않으면 사람들이 전혀 사용을 안 하기 때문에, 사용성 측면에서의 상향평준화가 가속화될 거다.
5년 후에는 각자 담당하고 계신 역할이 어떤 식으로 바뀔까요?
여 - 5년은 긴 시간이라… 두 가지 생각이 든다. 먼저, 5년이 지나면 예상치 못한 변화가 너무나 많을 거다. 반면, 대기업의 경우 레거시 코드가 엄청나다. 수많은 사람이 쌓아놓은 코드를 과연 AI가 제대로 관리할 수 있을까.
리 - 5년 뒤엔 그냥 다른 회사를 다니고 있을 확률이 높다(웃음). 단 AI는 분야를 상관하지 않을 거다. 어떤 산업의 어떤 도메인이든, 소프트웨어가 쓰일 수 있는 곳이면 다 쓰일 거라 생각한다.
변 - 전엔 6개월에 한번씩 모델을 업데이트했는데 최근엔 2달에 한 번씩 한다. 5년 후라면 거의 매일 모델을 업데이트하고 있지 않을까?
박 - 5년 후에도 ML로 돈을 버는 건 광고랑 파이낸스 정도이지 않을까 생각한다.
학생 혹은 얼리커리어이신 분들은 어떻게 미래를 준비하면 될까요?
박 - 늘 기본에 충실하셨으면 좋겠다. 결국엔 ML 사이언티스트의 업은 데이터로 모델을 만들어서 아웃풋을 내는 것이다. 트렌드만 따라가지 말고 꾸준히 정석을 밟자. 돌릴 줄은 아는데 결과가 뭘 뜻하는지 모르는 분들이 생각보다 많다.
변 - 크게 봐라. 이 말을 해주고 싶다. 앞으로는 1주일 정도의 시간에 MVP를 만들 수 있는데, 퀄리티가 엄청 좋아질 거고 또 좋아야만 할 거다. 즉 사람들의 니즈를 파악하고 반영하는 게 진정한 차별점이 된다.
리 - 컴퓨터 사이언스를 전공한다면 뭐든지 만들어 봐라. 이제 두세 시간이면, 아니 한시간이면 웹사이트를 만들 수 있다. 그러니 AI로 어떤 문제를 쉽게 풀어줄 수 있는지 고민해라. 비전공자라면 본인의 업에 충실하되 어떻게 AI 모델에 접목할지 고민해라. 본인의 코어 스킬셋을 확실하게 다져라.
여 - 특히 요즘은 아무리 실력이 좋다고 해도 지원자가 너무 많아서 변별력을 보여 주기 현실적으로 쉽지 않다. 지원을 많이 하고, 멘탈관리 잘 하고, 내 탓이 아닌 랜덤한 요소가 너무나 많다는 걸 늘 명심해야 한다.
마지막으로 전달하고 싶은 한 마디는 무엇인가요?
여 - 트렌드나 시류에 따라 바뀌는 부분이 늘 있다. 하나만 파서 승부를 볼 수 있는 재능은 드물기 때문에, 항상 다각화해라.
리 - 구직활동은 운이 크게 작용한다. 그럼에도 본인이 진짜 어떤 회사에 가고 싶어서 열심히 리서치를 한다면 결국 돋보이게 될 수밖에 없다.
변 - 큰 그림을 보고 어떤 문제를 풀지를 봐라. 솔직히 시류를 되돌릴 수는 없다. 가치를 탐구하면서, 그리고 무엇보다 취미생활을 갖는 게 좋지 않을까 (웃음)
박 - 기본에 충실하자. 늘 진정성을 갖고 임하자. 인터뷰 할 때 AI로 치팅하지 말아라 - 다 보인다. 정직하지 못한 방식으로 어렵게 얻은 기회를 날려버리지 말아라. 원래 첫번째가 제일 어렵다.
패널 토크를 마지막으로 약 2시간 반에 걸친 세미나가 성황리에 막을 내렸습니다. 대기업에서 주력하는 최신 기술 트렌드에서부터 전문가들의 진솔한 대화까지, 대단히 알찬 시간이었습니다.
세미나의 뜨거운 열기는 뒤풀이로 고스란히 이어졌습니다. 많은 분들이 맥주 한잔에 더불어 리셉션 때 못다한 이야기를 나누며 즐거운 네트워킹 시간을 보내셨다고 합니다.
다시 한번 발표자분들과 참여해주신 모든 분들께 깊은 감사의 말씀을 전하며 후기를 마칩니다. 창발에서는 해커톤, RTT, 테크 서밋 등 다양한 분들에게 도움이 될 수 있는 행사를 기획하고 있사오니, 앞으로도 많은 관심과 참여 부탁드립니다.
Comments