Summary
AI 크롤러는 학습용, AI 검색용, 사용자 요청용 세 가지로 나뉘며, OpenAI·Anthropic처럼 같은 회사도 용도별로 다른 봇을 운영합니다.
GPTBot(학습)을 막아도 ChatGPT 검색 노출은 OAI-SearchBot으로 따로 관리할 수 있습니다. 반대로 OAI-SearchBot을 막으면 ChatGPT 검색 답변에 나오지 않습니다.
Google-Extended와 Applebot-Extended는 실제로 접속하는 봇이 아니라 robots.txt 설정 이름이라, 서버 차단 규칙이 아닌 robots.txt에서 설정해야 합니다.
robots.txt는 규칙을 지키는 봇에만 효과가 있습니다. 이름을 사칭하는 봇, 사용자 요청 봇, 이름을 밝히지 않는 AI 에이전트는 공식 IP 확인과 행동 기반 정책으로 관리해야 합니다.
robots.txt에서 검색 봇을 허용해도 방화벽·CDN의 봇 차단 규칙이 그 요청을 막을 수 있으니, 실제 접근 결과를 로그로 확인하는 것이 마지막 단계입니다.
서버 로그를 열어 보면 GPTBot, ClaudeBot, PerplexityBot처럼 낯선 봇 이름이 점점 늘어나고 있습니다. 이들은 대부분 AI 서비스가 보낸 크롤러인데요. 그런데 이름만 봐서는 이 봇이 우리 콘텐츠를 학습에 쓰려는 건지, AI 검색 답변에 인용하려는 건지, 고객이 대신 보내서 온 건지 알기 어렵다는 문제가 있습니다. 최근 AI에 대한 접근성이 높아지면서 AEO/GEO 등 AI 검색 인용이 중요해지면서 AI 봇 접근 허용은 점점 더 중요해지고 있습니다.
용도를 모르고 'AI 봇 전체 차단'을 걸면 AI 검색 노출까지 잃을 수 있고, 봇이 탐색할 수 있도록 전부 열어 두면 원하지 않는 데이터 수집까지 허용하게 됩니다. 이번 콘텐츠 에서는 주요 AI 크롤러를 운영사별로 정리하고, 각각의 봇을 허용할지 막을지에 대한 기준을 살펴보도록 하겠습니다.
AI 크롤러란?
AI 크롤러는 AI 서비스가 웹 페이지를 자동으로 읽어 가는 프로그램입니다. AI 크롤러 봇이 무엇을 위해 웹 페이지를 읽어 가는지에 따라 크게 세 가지로 나뉩니다.
유형 | 하는 일 | 우리 사이트에 주는 영향 | 대표 봇 |
|---|---|---|---|
학습 크롤러 | AI 모델 학습용 콘텐츠를 대량 수집 | 직접적인 유입은 거의 없음 | GPTBot, ClaudeBot, CCBot |
AI 검색 크롤러 | AI 검색 답변에 인용할 페이지를 색인 | AI 답변 속 출처 노출, 유입 기회 | OAI-SearchBot, Claude-SearchBot, PerplexityBot |
사용자 요청 봇 | AI 이용자가 질문하거나 링크를 줄 때 그 페이지를 실시간으로 읽음 | 실제 고객이 AI를 통해 우리 사이트를 보는 통로 | ChatGPT-User, Claude-User, Perplexity-User |
여기에 Googlebot·네이버 Yeti 같은 기존 검색엔진 봇, 링크 공유 미리보기를 만드는 소셜 봇이 더해집니다. 핵심은 같은 회사의 AI 봇이라도 유형이 다르면 다르게 다뤄야 한다는 점입니다.
운영사별 주요 AI 크롤러 총정리
각 운영사는 공식 문서에서 봇별 용도와 IP 대역을 공개하고 있는데, 서버 로그의 User-Agent에 찍히는 이름 기준으로 정리했습니다.
OpenAI
봇 | 유형 | 하는 일 |
|---|---|---|
GPTBot | 학습 | 모델 학습 등에 쓰일 수 있는 콘텐츠 수집 |
OAI-SearchBot | AI 검색 | ChatGPT 검색 결과에 보여줄 페이지 수집 |
ChatGPT-User | 사용자 요청 | ChatGPT 이용자의 요청에 따라 특정 페이지 접근 |
OAI-AdsBot | 광고 검사 | ChatGPT 광고로 제출된 랜딩 페이지 검사 |
여기서 주의할 점은 OpenAI는 OAI-SearchBot을 막은 사이트는 ChatGPT 검색 답변에 나오지 않는다고 안내합니다. ChatGPT에서 인용되고 싶다면 GPTBot이 아니라 OAI-SearchBot을 확인해야 합니다.
Anthropic (Claude)
봇 | 유형 | 하는 일 |
|---|---|---|
ClaudeBot | 학습 | 모델 학습용 콘텐츠 수집 |
Claude-SearchBot | AI 검색 | Claude 검색 답변용 페이지 색인 |
Claude-User | 사용자 요청 | Claude 이용자의 요청에 따라 페이지 접근 |
봇 | 유형 | 하는 일 |
|---|---|---|
Googlebot | 검색 | 구글 검색 색인 |
Google-Extended | robots.txt 설정 이름 | Gemini 등 AI 학습에 쓰지 말라고 표시할 때 쓰는 이름. 이 이름으로 접속하는 봇은 없음 |
GoogleOther | 범용 | 구글 내부 제품·연구용 수집 |
Perplexity
봇 | 유형 | 하는 일 |
|---|---|---|
PerplexityBot | AI 검색 | Perplexity 검색 색인 |
Perplexity-User | 사용자 요청 | Perplexity 이용자 질문에 답할 때 페이지를 읽음 |
Meta
봇 | 유형 | 하는 일 |
|---|---|---|
Meta-ExternalAgent | 학습 | AI 학습·제품 개선용 수집 |
Meta-ExternalFetcher | 사용자 요청 | Meta AI 이용자 요청에 따라 링크를 가져옴 |
facebookexternalhit | 소셜 | 페이스북·인스타그램 링크 미리보기 생성 |
Apple
봇 | 유형 | 하는 일 |
|---|---|---|
Applebot | 검색 | Siri·Spotlight 등 Apple 검색 |
Applebot-Extended | robots.txt 설정 이름 | Apple AI 학습에 쓰지 말라고 표시할 때 쓰는 이름. 이 이름으로 접속하는 봇은 없음 |
그 밖에 보일 수 있는 AI 봇 리스트
봇 | 운영사 | 유형 | 하는 일 |
|---|---|---|---|
Yeti | 네이버 | 검색 | 네이버 검색 색인 |
bingbot | Microsoft | 검색 | Bing 검색 색인 |
CCBot | Common Crawl | 학습 데이터 원천 | 공개 웹 아카이브. 여러 AI 학습 데이터셋에 쓰임 |
Bytespider | ByteDance | 학습 | AI 서비스용 콘텐츠 수집 |
Amazonbot | Amazon | 학습·서비스 | Amazon 서비스·AI 개선용 수집 |
DuckAssistBot | DuckDuckGo | AI 검색 | DuckDuckGo AI 답변용 수집 |
MistralAI-User | Mistral AI | 사용자 요청 | Le Chat 이용자 요청에 따라 페이지 접근 |
Google-Extended와 Applebot-Extended는 차단 목록에 넣어도 걸리는 트래픽이 없습니다. 실제 수집은 Googlebot·Applebot 이름으로 오기 때문에, 이 두 이름은 robots.txt에서 설정해야 효과가 있습니다.
robots.txt로 AI 크롤러 허용·차단하는 법
robots.txt는 사이트 루트(예: example.com/robots.txt)에 두는 파일로, 크롤러에게 어디까지 수집해도 되는지 알려주는 것이라고 보면 됩니다. 봇 이름(User-agent)마다 규칙을 따로 적을 수 있어서, 학습은 막고 검색 노출은 열어 두는 설정이 가능합니다.
하지만 설정 시에 알아둘 점이 있는데요.
반영까지 시간이 걸립니다. OpenAI 기준으로 robots.txt를 바꾼 뒤 검색 결과에 반영되기까지 약 24시간이 걸릴 수 있습니다.
크롤러 허용이 곧 노출이 되는 것은 아닙니다. 검색 봇을 허용하는 것은 노출의 전제 조건일 뿐, 실제로 인용될지는 각 AI 서비스가 판단합니다.
로그인·결제 같은 경로는 따로 막아 두는 것이 좋습니다. 공개할 페이지와 보호할 경로를 나눠
Disallow로 지정할 수 있습니다.
robots.txt만으로는 부족한 이유
주의할 점은 robots.txt는 '요청'이지 '강제'가 아니라는 것입니다. 이것은 규칙을 지키는 봇에게만 효과가 있고, 실제로 요청을 막거나 통과시키는 것은 서버와 보안 정책입니다. 그래서 다음 세 가지 경우에는 robots.txt만으로 관리가 되지 않습니다.
1. 사용자 요청 봇에는 적용되지 않을 수 있습니다
OpenAI는 ChatGPT-User가 사용자가 직접 요청한 접근이라 robots.txt 규칙이 적용되지 않을 수 있다고 안내하고 있습니다. 다른 AI 서비스의 사용자 요청 봇도 비슷한 경우가 많습니다. 이 봇들은 실제 고객이 AI를 통해 들어오는 통로이기도 해서, 무조건 막기보다 어떤 페이지에서 무엇을 하는지 지켜보는 편이 좋습니다.
2. AI 크롤러의 이름만 빌린 봇이 있습니다
User-Agent의 이름은 누구나 바꿔 적을 수 있습니다. 악성 수집 봇이 GPTBot이나 Googlebot 이름을 달고 들어오면, robots.txt나 이름 기준 규칙으로는 구분할 수 없습니다. 그래서 주요 운영사들은 자기 봇의 공식 IP 대역을 공개하고 있고, 진짜 AI 크롤러 봇인지는 이름이 아니라 접속 IP로 확인해야 합니다.
3. 이름을 밝히지 않는 AI 에이전트가 늘고 있습니다
AI 브라우저나 에이전트 중에는 봇 이름 없이 일반 브라우저처럼 접속하는 경우가 있습니다. 이런 트래픽은 robots.txt도, 봇 이름 목록도 적용되지 않아 요청 속도·이동 경로 같은 행동으로 판단해야 합니다.
반대 방향의 문제도 있습니다. robots.txt에서 검색 봇을 허용해 놓고도 방화벽이나 CDN의 봇 차단 규칙이 그 요청을 막고 있는 경우입니다. OpenAI가 robots.txt 허용과 함께 공개 IP 대역에서 오는 요청도 허용하라고 권장하는 이유입니다.
우리 사이트는 어떤 봇을 열고, 어떤 봇을 막아야 할까?
이에 대한 답은 우리 사이트가 무엇을 더 중요하게 여기는지에 따라 달라지는데, 아래는 판단을 돕기 위한 예시입니다.
유형 | AI 검색 노출이 중요 (브랜드·B2B·미디어) | 콘텐츠·데이터 보호가 중요 (언론·가격·DB) | 거래 공정성이 중요 (예매·커머스·금융) |
|---|---|---|---|
일반 검색 봇 | 허용 | 허용 | 허용 |
AI 검색 크롤러 | 허용 | 지켜본 뒤 결정 | 허용 (공개 페이지) |
학습 크롤러 | 콘텐츠 정책에 따라 결정 | 차단 | 지켜보거나 차단 |
사용자 요청 봇 | 지켜보기 | 지켜보기 | 지켜보되 로그인·결제 구간은 별도 통제 |
소셜 미리보기 봇 | 허용 | 허용 | 허용 |
판단이 서지 않는다면 바로 막기보다 2~4주 동안 어떤 봇이 얼마나, 어느 페이지로 오는지부터 확인하는 것이 안전합니다. 실제 숫자를 보고 나면 '노출에 필요한 봇'과 '부담만 주는 봇'을 확실하게 구별해낼 수 있습니다.
사용자 요청 봇은 특히 신중해야 합니다. 뒤에 실제 사람이 있기 때문에 통째로 막으면 AI로 우리 사이트를 보려는 고객까지 막히기 때문인데요. 이의 경우 접근은 열어 두되, 예매·결제·회원가입처럼 민감한 구간에서 비정상적인 반복 요청을 따로 걸러내는 방식을 제안할 수 있습니다.
AI 봇은 '막을까'가 아니라 '누구에게 무엇을 열까'의 문제
AI 크롤러는 AI가 지속적으로 발전하며 앞으로 트래픽의 양도 더 늘어나고 종류도 더 세분화될 가능성이 큽니다. 봇 이름과 용도를 알고 나면, 검색 노출과 콘텐츠 보호를 동시에 챙기는 설정이 가능해집니다.
하지만 봇이 많아질수록 이 판단을 수작업으로 이어가기는 어렵습니다. 또한 최근 지속적으로 발생하는 보안 공격으로 인해 이에 대한 고민은 지속적으로 늘어가고 있습니다.
이럴 때일수록 주요 AI 크롤러를 운영사 공식 IP로 확인하고, 봇별로 허용·탐지·차단을 정할 수 있도록 도울 수 있는 솔루션이 필요한데요, 우리 사이트에 어떤 AI 봇이 얼마나 오는지 궁금하지 않으신가요?
FAQ
Q. GPTBot을 막으면 ChatGPT 검색에서도 빠지나요?
아니요. ChatGPT 검색 노출은 OAI-SearchBot이 담당합니다. GPTBot을 막아도 OAI-SearchBot을 허용하면 검색 답변에는 나올 수 있습니다. 다만 노출 여부는 OpenAI가 판단합니다.
Q. ClaudeBot과 Claude-User는 무엇이 다른가요?
ClaudeBot은 모델 학습용 수집 봇이고, Claude-User는 Claude 이용자가 요청했을 때 페이지를 읽는 봇입니다. Claude 검색 색인은 Claude-SearchBot이 따로 담당합니다.
Q. robots.txt에 Google-Extended를 막으면 구글 검색에서 빠지나요?
아니요. Google-Extended는 AI 학습 사용 여부만 표시하는 설정 이름이라, 구글 검색 색인을 하는 Googlebot에는 영향이 없습니다.
Q. robots.txt만 설정하면 충분한가요?
규칙을 지키는 봇에는 충분하지만, 이름을 사칭하는 봇이나 사용자 요청 봇, 이름을 밝히지 않는 에이전트는 따로 관리해야 합니다. 방화벽이나 봇 관리 설정이 허용한 봇까지 막고 있지 않은지도 함께 확인하세요.
Q. 서버 로그의 봇이 진짜 GPTBot인지 어떻게 알 수 있나요?
접속 IP가 운영사가 공개한 공식 IP 대역에 들어가는지 확인하면 됩니다. OpenAI, Google 등 주요 운영사는 봇별 IP 목록을 공개하고 있습니다.