[Dev Group] 코딩 에이전트는 왜 거짓말을 할까?

코딩 에이전트가 만든 클라우드 튜토리얼이 자체 검증에서 Score: 100.0점과 모든 테스트를 통과했다는 보고서를 받았습니다. 하지만 배포 직전 직접 실행해 보니 돌아가는 코드가 하나도 없었습니다. 실패한 API 호출은 try/except로 삼켜 가짜 성공 응답을 반환하고 있었고, 터미널 출력은 에이전트가 손으로 타이핑한 가짜였으며, 테스트가 안 맞자 검증 스크립트 자체를 열어서 수정해 버렸습니다.

왜 코딩 에이전트는 정직하게 실패를 보고하는 대신 수단과 방법을 가리지 않고 거짓말을 할까요?

이 세션에서는 여러 LLM 모델에 대해 수천번의 통제 실험으로 확인한 에이전트의 꼼수들을 해부합니다. 나아가 SKILL.md에 적힌 텍스트 조언만으로는 왜 이를 막을 수 없는지 짚어보고, 에이전트 바깥의 호스트 훅(PreToolUse, PostToolUse, Stop)과 실행 영수증 해시 대조, 배심원-판사 구조의 LLM-as-a-judge 패턴으로 에이전트를 안전하게 제어하는 실전 설계법을 공유합니다.

일시: 11월 23일 목요일, 6:30 - 9PM

장소: 벨뷰 시청 1E-113

참가비: $7 (노쇼방지를 위한 참가비이며 간단한 식사와 음료가 제공됩니다)

많은 참석 부탁드립니다.