[AI/DS 그룹] Deep Dive into RAG & LLM Customization

7월30일에 밸뷰 시청에서는 AI/DS 그룹에서 주최한 정기 세미나가 있었습니다. 약 50여명이 참석을 하여 요즘 핫한 AI 분야에 대한 사람들의 관심이 얼마나 큰지를 확인 할 수 있었습니다. 이번 세미나는 RAG(Retrieval Augmented Generation)와 LLM 커스터마이징 이라는 두 가지 핵심 주제를 다루며, 관련 기술의 최신 동향과 실제 적용 방안에 대해 깊이 있는 통찰을 얻을 수 있는 시간이었습니다.

RAG: 환각과 최신 정보 문제를 해결하는 열쇠

첫 번째 세션은 Google Cloud Platform의 박진우 님께서 RAG(Retrieval Augmented Generation)를 주제로 발표해주셨습니다. 발표는 LLM의 근본적인 문제점인 환각(Hallucination), 최신 정보 반영의 어려움, 설명 불가능성 등을 짚으며 시작했습니다. 그리고 이러한 문제를 해결하기 위한 효과적인 방법으로 RAG를 제시했습니다.

세미나에서는 RAG의 구체적인 작동 방식인 Indexing과 Retrieval and Generation의 두 단계를 상세히 다루었습니다.

• Indexing: 다양한 형태의 문서를 파싱하고, 의미 단위로 쪼개는 청킹(Chunking), 메타데이터를 추가하는 어노테이션(Annotation) 등의 과정을 거쳐 검색 가능한 형태로 만드는 과정을 설명했습니다. 특히, 문서의 구조를 고려한 청킹 방식이나, 오디오/비디오와 같은 다양한 콘텐츠 처리의 어려움 등 실제 현장에서 맞닥뜨리는 도전 과제에 대한 언급이 인상적이었습니다.

• Retrieval and Generation: 쿼리를 던졌을 때 최적의 문서를 찾아내고, 이를 기반으로 답변을 생성하는 과정이 어떻게 이루어지는지 배울 수 있었습니다. 이 과정에서 Dense Passage Retrieval과 같은 핵심 논문과 평가 지표에 대한 설명도 들을 수 있어 기술의 기반을 이해하는 데 큰 도움이 되었습니다.

특히 'Dense Passage Retrieval for Open-Domain Question Answering (2020)'과 'RAG for knowledge-intensive NLP tasks (2020)' 두 논문을 통해 RAG 기술이 어떻게 발전해왔는지 흐름을 파악할 수 있었던 점이 매우 유익했습니다.

파인튜닝을 넘어선 LLM 커스터마이징

두 번째 세션은 Google DeepMind의 이지환 님께서 'No More Fine-tuning: Efficient LLM Customization'이라는 주제로 발표해주셨습니다. 발표는 범용 LLM이 갖는 한계(개인화, 특정 도메인 지식 부족)를 지적하며, 이를 극복하기 위한 다양한 커스터마이징(Customization) 방법을 소개했습니다.

기존의 막대한 리소스가 필요한 파인튜닝 방식의 대안으로 PEFT(Parameter Efficient Fine Tuning)가 등장하게 된 배경과 이 기술이 갖는 장점을 명확하게 설명해주셨습니다.

• PEFT 기술: Prompt Tuning, Prefix Tuning, Adapters, 그리고 특히 성능이 우수하다고 알려진 LoRA(Low-Rank Adaptation)에 대해 자세히 다루었습니다. LoRA가 기존 모델의 파라미터를 건드리지 않고 적은 수의 파라미터만 업데이트하여 비용과 저장 공간을 획기적으로 줄일 수 있다는 점이 매우 흥미로웠습니다.

• In-Context Learning: 파라미터 튜닝 없이 프롬프트 예시만으로 모델의 동작을 조정하는 In-Context Learning의 장단점도 함께 살펴볼 수 있었습니다.

발표는 여기서 그치지 않고, 수백만 명의 사용자에게 개인화된 모델을 제공하기 위한 최신 연구 동향인 LoRA-generating hypernetwork에 대해서도 소개했습니다. 이 기술은 LLM을 그대로 둔 채 하이퍼네트워크만 학습하여 사용자별 LoRA 파라미터를 효율적으로 생성한다는 점에서 앞으로의 발전 가능성을 엿볼 수 있었습니다.

이번 세미나를 통해 AI/DS 분야의 최신 기술 동향을 파악하고, LLM을 실무에 적용할 때 고려해야 할 다양한 기술적 접근법에 대해 깊이 있게 이해할 수 있었습니다. 특히 현업에 계신 분들의 경험과 노하우를 직접 들을 수 있어 더욱 값진 시간이었습니다.