VIDEO NOTE
AI 에이전트 코드 검증을 위한 Playwright E2E 테스트 하네스 구축기
NAVER D2 · 32분 · 고급 · 26. 11. 18. · 분야별 AX 사례 › 품질관리
AI 에이전트 도입으로 코드 생산성은 급증했으나 검증이 새로운 병목으로 떠오르면서 단위 테스트로 잡기 어려운 경계 결함을 검증할 E2E 테스트의 중요성이 커졌다. 네이버파이낸셜 금융FE 팀은 Playwright와 Codegen, 공식 에이전트 3종(Planner, Generator, Healer)을 활용해 테스트 작성부터 디버깅까지 자동화하는 하네스를 구축했다. CI 실패 시 trace 데이터를 에이전트에 전달해 스스로 오류를 수정하게 만드는 자가개선 루프를 완성함으로써 에이전트의 신뢰성을 확보했다.
핵심
- AI 에이전트 도입 후 9개월간 머지된 PR이 227건에서 348건으로 약 1.5배 늘며 검증 단계가 병목이 되었다.
- 각 컴포넌트 단위 테스트를 통과해도 컴포넌트 간 경계 결함이 발생하므로 실제 브라우저 환경을 검증하는 E2E 테스트가 필수적이다.
- 에이전트가 직접 브라우저를 조작하는 방식은 느리고 비결정적이므로, 결정론적인 Playwright 테스트 코드를 센서 겸 명세서로 활용했다.
- Playwright의 Codegen 도구로 기본 코드를 생성하고, 에이전트가 사내 컨벤션에 맞춰 테스트 스텝을 구조화하도록 설계했다.
- 테스트 계획 수립(Planner), 코드 생성(Generator), 실패 진단 및 수정(Healer)으로 에이전트 역할을 분리해 작업 완성도를 높였다.
- 사전 단계를 건너뛰는 Prefill API와 외부 의존성 모킹, 10회 반복 실행(burn-in)을 적용해 Flaky 테스트를 방지했다.
- CI 실패 시 생성된 trace 압축 파일을 Healer 에이전트에 넘겨 스스로 코드를 수정하고 통과시키는 자가개선 루프를 구축했다.
RAISE LAB 에서 배우는 사람에게
클로드와 코딩 에이전트가 작성한 코드를 믿고 배포하려면, 모델에게 실행 가능한 검증 센서와 풍부한 디버깅 데이터(trace)를 쥐여주는 하네스 설계가 필수적임을 실제 프로덕션 사례로 증명한다.
챕터
- 0:00AI가 쓴 코드의 검증 문제와 하네스 엔지니어링 (새 탭에서 열림)
- 2:09코딩 속도 향상과 검증 병목, E2E 테스트의 필요성 (새 탭에서 열림)
- 6:39Playwright의 장점과 에이전트용 리포트 데이터 (새 탭에서 열림)
- 10:16테스트 대상 선정과 핵심 사용자 워크플로우 (새 탭에서 열림)
- 12:04Playwright Codegen과 에이전트 코드 정리 (새 탭에서 열림)
- 14:02Playwright 공식 에이전트 3개 (Planner, Generator, Healer) (새 탭에서 열림)
- 16:40에이전트 온보딩을 위한 하네스 준비물 (새 탭에서 열림)
- 19:38Prefill API와 외부 의존성 모킹을 통한 최적화 (새 탭에서 열림)
- 21:35간헐적 실패 예방(burn-in)과 Healer 기반 자동 수정 (새 탭에서 열림)
- 25:04CI 연동과 Healer 디버깅 워크플로우 (새 탭에서 열림)
- 26:31자가개선 루프 설계와 엔지니어의 역할 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. NAVER D2 원작자 채널 (새 탭에서 열림)