대모산 개발단 - 대모산개발단 크롤링 마스터 챌린지 2기 후기

대모산개발단 크롤링 마스터 챌린지 2기, AI 도구를 활용한 크롤링 강의 후기

지난번 대모산개발단 랜딩페이지 챌린지 7기를 학습한 후, 이번에는 크롤링 마스터 챌린지 2기에 신청했습니다.
신청하게 된 계기는 부동산 관련 웹 페이지를 직접 만들고 싶다는 오랜 상상이 있었기 때문입니다.
기획만 하던 단계에서 한 걸음 나아가, 실제로 크롤링을 배우고 AI를 어떻게 활용할 수 있을지에 대한 팁을 얻고자 추가 학습을 결심하게 되었습니다.

1. Gemini의 AI 크롤링 성능에 대한 놀라움

4년 전, 처음 크롤링을 접했을 때는 반복작업과 수작업이 대부분이어서 거의 노가다의 영역이라고 느꼈습니다.
하지만 이번에 Gemini의 AI 크롤링을 접하고 난 후, 단 한 줄의 텍스트 입력만으로도 원하는 데이터를 손쉽게 크롤링할 수 있다는 점에 감탄했습니다.
정말 편리하고 신기한 경험이었습니다.

2. Playwright MCP의 강력함

특히 놀라웠던 부분은 Playwright MCP였습니다.

• 크롤링 코드를 js 파일로 정리해주고,
• md 파일로도 만들어서 어느 AI에서도 쉽게 활용할 수 있게 해줍니다.
• 이전에는 불가능하다고 생각했던,
  • 접근이 제한된 사이트
  • 수작업이 필요한 영역
    이러한 곳에서도 강력한 자동화 도구의 도움으로 쉽게 자료를 수집할 수 있었습니다.

3. SNS 크롤링의 디테일

SNS 크롤링도 그냥 '일반적인 크롤링과 비슷하겠지?'라고 생각했는데,
실전에 들어가보니 훨씬 정교하고 디테일하게 데이터를 뽑아낼 수 있다는 점에서 또 한 번 놀랐습니다.

4. 느낀 점 & 기대

이번 경험을 통해 크롤링이 더 이상 반복적인 수작업이 아니라, AI와 자동화 도구의 도움으로 훨씬 효율적이고 빠르게 작업할 수 있는 영역임을 확실히 느꼈습니다.
자료 수집에 있어서 앞으로 훨씬 많은 시간을 절감할 수 있을 것이라 기대하고 있습니다.

부동산뿐 아니라 다양한 분야에서 AI 크롤링 도구를 적극적으로 활용할 계획입니다.
알차고 실전적인 강의를 열어주신 대모산개발단에 감사드리며, 다음 프로젝트에도 꼭 도전하고 싶습니다! ✨

이 글이 크롤링 챌린지에 관심 있는 분들에게 작은 도움이 되길 바랍니다!