[AI/DS 세미나 후기] Next-Gen AI Architecture: Orchestration & Evaluation

최근 AI 에이전트(Agent)에 대한 관심이 뜨거운 가운데, 이론을 넘어 실제 산업 현장에서는 에이전트를 어떻게 평가하고 구축하고 있는지 깊이 있게 다루는 뜻깊은 오프라인 세미나가 열렸습니다.

6월 25일 열린 'Next-Gen AI Architecture: Orchestration & Evaluation' 행사에 많은 창발 회원님들이 참석해 주셨습니다. 아마존과 구글에서 활약하고 계신 두 분의 현업 전문가를 모시고, 실무에서 직접 부딪히며 얻은 생생한 경험과 노하우를 들어보았습니다.

Beyond Leaderboards: What It Actually Takes to Evaluate LLMs in Production

첫 번째 세션에서는 아마존에서 LLM 및 Agent Evaluation 전문가로 계신 Hanna Kwon 님이 Evaluation Platform을 구축하는 과정과 실무 경험을 공유해 주셨습니다.

• Evaluation Pipeline 구축기: 수 많은 유저들이 사용하는 LLM / Agent Eval 파이프라인을 구축하면서 겪으셨던 현실적인 어려움과 이를 해결해 낸 노하우를 상세히 나누어 주셨습니다. 실제 고객 분들이 만드는 Evaluation관련 내용을 설명해주시고 Eval진행을 하는 사람이 아닌 Eval Platform을 구축하는 사람들만 겪을 수 있는 어려움들을 공유해 주셔서 듣는 내내 마치 회사에서 직접 Agent Eval을 구축하는 듯한 몰입감을 느낄 수 있었습니다.

• 단순히 '평가를 어떻게 할 것인가'에 그치지 않고, 도출된 다양한 평가 결과를 어떻게 해석하고 실제 액션으로 연결할 수 있는지에 대한 실무적인 인사이트가 매우 유익했습니다.

Multi-Agent Orchestration for AI-Driven Development (Sangwhan Moon 님 / Google)

이어진 두 번째 세션은 구글에서 엔지니어링 매니저로 계신 문상환 박사님께서 이끌어주셨습니다. 풍부한 연구 및 실무 경험을 바탕으로 에이전트 기술의 진화 과정을 명쾌하게 설명해 주셨습니다.

• 멀티 에이전트로 진행: LLM의 기본 개념부터 시작해 하나의 모델이 싱글 에이전트로, 더 나아가 멀티 에이전트 시스템으로 발전해 나가는 흐름을 짚어 주셨습니다.

• 여러 에이전트가 하나의 팀처럼 협업하는 '멀티 에이전트 오케스트레이션'을 직접 구축하신 과정과, 이를 기반으로 만들어진 실제 시스템 및 프로덕트 사례들을 공유해 주셔서 기술의 실질적인 가능성을 엿볼 수 있었습니다.

마무리하며

이번 AI/DS 그룹 세미나는 AI 에이전트 시대를 맞아 필수적인 LLM/Agent Evaluation 과 Multi Agent Orchestration 에 대해서 실제로 구축하신 경혐과 노하루를 듣는 좋은 시간이었습니다.

현장에서 겪은 값진 시행착오와 노하우를 아낌없이 나누어 주신 두 분의 연사님과 현업에서 느끼는 Eval과 Agent Orchestration 관련 어려움들을 공유하고 참석자