VIDEO NOTE
토스 프론트엔드 AI 팀의 실기기 E2E 테스트 검증 하네스 구축기
토스 챌린저스 · 19분 · 중급 · 26. 10. 11. · 분야별 AX 사례 › 평가·품질관리
YouTube 에서 보기 · 토스 챌린저스 (새 탭에서 열림)토스 프론트엔드 AI 팀이 AI 도입으로 코드 생산 속도가 빨라지면서 불거진 검증과 신뢰도 문제를 해결한 과정을 공유한다. 코드베이스 추론 대신 실제 모바일 디바이스 팜과 로그를 결합한 E2E 환경을 구축하고, 테스트 실패 시 화면 녹화와 네트워크 로그를 에이전트에 전달해 스스로 테스트 코드를 고치게 만드는 파이프라인을 소개한다.
핵심
- AI 코딩 도입 후 코드 생산량은 4배 이상 늘었으나 코드를 이해하고 검증해 신뢰하기까지 드는 비용이 증가했다.
- 초기에는 코드베이스를 분석해 E2E 시나리오를 자동 생성하려 했으나 실제 기획 의도와 맥락을 반영하지 못해 실패했다.
- 모킹을 배제하고 실제 유저 인터랙션과 동일하게 검증할 수 있도록 사내 디바이스 팜(Nebula)과 연동했다.
- 테스트 실패 시점의 화면 녹화 영상과 통신 로그를 Replay 도구로 캡처해 에이전트에 전달함으로써 깨진 테스트를 자가 수정하도록 유도했다.
- AI 성능을 극대화하려면 단순 텍스트 프롬프트보다 사람이 쓰기 편하게 만든 내부 도구와 환경을 에이전트에게 쥐여주는 편이 효과적이다.
RAISE LAB 에서 배우는 사람에게
코딩 에이전트의 생산성을 서비스 안정성으로 이어가려면, 프롬프트 개선보다 에이전트가 실패를 직접 확인하고 수정할 수 있는 실행·검증 환경(하네스) 구축이 필수적임을 보여준다.
챕터
- 0:00도입: AI 결과물 검증이라는 고민 (새 탭에서 열림)
- 1:23코드 생산 4배 증가와 신뢰 비용의 역설 (새 탭에서 열림)
- 3:55코드베이스 기반 E2E 생성 실패와 교훈 (새 탭에서 열림)
- 6:02실제 환경 중심 E2E 원칙과 사내 협업 (새 탭에서 열림)
- 9:16디바이스 팜 및 Nova MCP 도구 구축 (새 탭에서 열림)
- 10:49자연어 및 수동 인터랙션 기반 테스트 코드 작성 (새 탭에서 열림)
- 13:12Replay 도구로 실패 재현 및 에이전트 자동 수정 (새 탭에서 열림)
- 15:10도구 엔지니어링의 핵심과 향후 과제 (새 탭에서 열림)
이 노트는 RAISE LAB 운영팀이 고른 영상을 AI(Gemini)가 보고 한국어로 정리한 것입니다. 영상의 저작권은 원작자에게 있고, 자막·대본은 싣지 않습니다. 토스 챌린저스 원작자 채널 (새 탭에서 열림)