Claude Code 기반 범용 웹 크롤링 에이전트 구축과 실무 활용

핵심

• agent-browser와 Scrapling 오픈소스를 결합해 사이트 탐색과 수집 코드 생성을 분담하는 web-crawler 에이전트를 오픈소스로 공개했다.
• 나라장터, 원티드, 금감원 PDF 다운로드, 네이버 부동산 지도 매물, 로그인 세션이 필요한 네이버 카페와 인스타그램까지 다양한 환경에서 데이터 수집을 검증했다.
• 쿠팡과 같이 봇 차단 시스템이 강력한 웹사이트에서도 에이전트가 탐색 단계에서 차단 여부를 감지하고 사용자 승인을 받아 우회 수집을 처리한다.
• 한 번 분석한 사이트 구조와 수집 전략은 fingerprint 폴더에 캐싱하여 다음 실행부터 훨씬 빠르게 수집한다.
• Claude Code의 루틴이나 ChatGPT 예약 기능을 활용해 매일 또는 주기적으로 특정 키워드 뉴스나 링크드인 포스팅을 모니터링할 수 있다.
• 크롤링 적법성 판단의 6가지 기준으로 접근 우회 여부, 서버 부하, 개인정보 포함 여부, 수집 분량, 경쟁·대체 목적성, 수집 주체 흔적(User-Agent)을 제시한다.

챕터

1. 0:00웹 크롤링 에이전트 소개 (새 탭에서 열림)
2. 1:23GitHub 오픈소스 web-crawler 세팅 방법 (새 탭에서 열림)
3. 3:24실습: 나라장터 입찰 공고 엑셀 수집 (새 탭에서 열림)
4. 5:25실습: 금융감독원 보도자료 및 첨부 PDF 다운로드 (새 탭에서 열림)
5. 7:29실습: 원티드 채용공고 상세 페이지 정보 수집 (새 탭에서 열림)
6. 8:33실습: 네이버 뉴스 모니터링 및 자동화 루틴 등록 (새 탭에서 열림)
7. 9:58실습: 네이버 부동산 매물 정보 정찰 및 수집 (새 탭에서 열림)
8. 11:37크롤링 에이전트 아키텍처와 LLM 역할 분담 (새 탭에서 열림)
9. 13:34실습: 쿠팡 봇 차단 우회 및 리뷰 대시보드 시각화 (새 탭에서 열림)
10. 16:38실습: 로그인 세션 기반 네이버 카페·인스타그램 수집 (새 탭에서 열림)
11. 19:03에이전트 커스텀 개량 포인트 3가지 (새 탭에서 열림)
12. 21:47웹 크롤링 시 고려해야 할 6가지 법적 기준 (새 탭에서 열림)