브라우저에는 정상인데 AI 크롤러에게만 403을 돌려주는 사이트가 흔합니다. curl 한 줄로 GPTBot·ClaudeBot·PerplexityBot 차단 여부를 직접 확인하는 법.
저희가 K-뷰티 수출 브랜드 10곳을 같은 날 측정했을 때, 3곳이 ChatGPT의 크롤러(GPTBot)에게 403을 돌려주고 있었습니다. 브라우저로 열면 멀쩡한데 AI에게만 문을 닫은 상태였고, 셋 다 본인들은 모르고 있었습니다. 원인은 대개 CDN 보안 룰의 오차단입니다. 다행히 확인은 5분, 해제는 설정 몇 줄이면 됩니다.
GPTBot이 막히면 ChatGPT는 그 브랜드의 공식 사이트에서 정보를 하나도 가져갈 수 없습니다. 해외 소비자가 "이 브랜드 어때?"라고 물으면 AI는 리테일러 페이지, 오래된 블로그, 커뮤니티 글 — 즉 제3자의 말만으로 답을 만듭니다. 브랜드가 자기 이야기의 통제권을 통째로 잃는 겁니다. 저희 진단 5개 영역 중 '기술 접근성' 점수가 여기서 갈립니다.
터미널이 낯설다면 여기서 멈추세요. 아래는 개발자·마케터가 직접 확인하는 방법입니다. 코드가 부담스러우면 무료 점수카드를 신청하시면 저희가 귀사 사이트의 크롤러 차단 여부를 대신 재서 이틀 안에 알려드립니다 — 결과만 받아보셔도 됩니다.
터미널을 쓰신다면 딱 두 줄이면 됩니다. 먼저 일반 브라우저인 척 접속합니다.
그다음 GPTBot인 척 접속해 응답을 비교합니다.
첫 줄이 200인데 둘째 줄이 403이나 429면 차단된 겁니다. ClaudeBot·PerplexityBot·OAI-SearchBot도 UA만 바꿔 똑같이 확인하세요. 4종 UA는 아래 표에 있습니다.
| 크롤러 | User-Agent 토큰 | 주체 |
|---|---|---|
| GPTBot | GPTBot | ChatGPT 학습·검색 |
| OAI-SearchBot | OAI-SearchBot | ChatGPT 검색 인용 |
| ClaudeBot | ClaudeBot | Claude |
| PerplexityBot | PerplexityBot | Perplexity |
CDN 차단이 아니라 robots.txt에서 명시적으로 막아둔 경우도 있습니다. https://브랜드.com/robots.txt를 열어 User-agent: GPTBot 아래 Disallow: /가 있으면 그게 원인입니다. 이건 파일 몇 줄만 지우면 해제됩니다.
CDN(예: Cloudflare)이라면 봇 차단 규칙에서 AI 크롤러 4종을 허용 목록에 넣습니다. robots.txt 문제면 해당 Disallow 라인을 제거합니다. 둘 다 즉효성 처방이라, 저희 리포트에서도 항상 1순위에 둡니다. 해제 뒤 위 curl을 다시 돌려 200이 나오는지 확인하면 끝입니다. 참고로 이 확인 방식은 저희가 K-뷰티 인덱스 실측에 쓴 방법과 동일합니다.
무료 점수카드가 이 점검들을 귀사 실제 페이지에 돌려, 세 기둥 중 어디가 병목인지 짚어드립니다. 영업일 2일, 무료입니다.