Claude가 우리 사이트를 인용하게 하려면?
작성 NEEZ 리서치팀업데이트 읽는 시간 3분
한 줄 답
Anthropic은 학습용(ClaudeBot), 검색용(Claude-SearchBot), 사용자 요청용(Claude-User) 크롤러를 구분해 운영합니다. Claude의 웹 검색에 인용되려면 Claude-SearchBot이 사이트를 읽을 수 있어야 합니다.
Anthropic 크롤러 3가지
| 크롤러 | 역할 |
|---|---|
| Claude-SearchBot | Claude의 검색 결과 품질을 위한 색인 |
| ClaudeBot | 모델 학습용 데이터 수집 |
| Claude-User | 사용자가 Claude에게 특정 페이지를 요청할 때의 방문 |
세 크롤러는 각각 robots.txt로 따로 허용하거나 막을 수 있습니다.[1] Anthropic은 Claude-SearchBot을 막으면 사용자 검색 결과에서 사이트의 노출과 정확도가 줄어들 수 있다고 안내합니다.[1]
User-agent: Claude-SearchBot
Allow: /
# 학습 데이터 수집을 원하지 않는 경우
User-agent: ClaudeBot
Disallow: /학습 허용과 검색 노출은 따로 결정합니다
학습용 ClaudeBot을 막아도 검색용 Claude-SearchBot이나 사용자 요청용 Claude-User가 함께 막히지는 않습니다.[2] 콘텐츠가 학습에 쓰이는 것은 원하지 않지만 검색에는 노출되고 싶다면, 두 크롤러를 다르게 설정하면 됩니다.
인용되기 쉬운 콘텐츠
Claude의 인용 출처를 대규모로 분석한 공개 조사는 아직 많지 않습니다. 따라서 특정 AI에 맞춘 기법보다, 출처가 분명하고 질문에 바로 답하는 콘텐츠라는 기본 원칙을 따르는 것이 안전합니다. 특정 GEO 연구 환경에서는 출처 · 인용문 · 통계를 보강한 콘텐츠의 가시성이 개선됐지만, 효과는 주제와 평가 환경에 따라 달랐습니다.[3]
- robots.txt에서 Claude-SearchBot을 허용합니다.
- 질문형 제목과 첫 문장 정답, 출처와 수치를 갖춥니다.
- 회사 · 서비스 정보를 사이트와 외부 채널에서 같은 표현으로 유지합니다.
자주 묻는 질문
아닙니다. ClaudeBot은 학습용 크롤러이고, Claude 검색의 색인은 Claude-SearchBot이 담당합니다. 두 크롤러는 robots.txt에서 따로 설정합니다.
Anthropic은 세 크롤러 모두 robots.txt 지시를 따른다고 안내하며, 크롤러별로 따로 설정할 수 있습니다.
사람들이 함께 묻는 질문
출처
- [1]AnthropicDoes Anthropic crawl data from the web, and how can site owners block the crawler?
- [2]Search Engine JournalAnthropic’s Claude Bots Make Robots.txt Decisions More Granular
- [3]Aggarwal 외 (Princeton · IIT Delhi 등), KDD 2024GEO: Generative Engine OptimizationarXiv 2311.09735
출처 확인일 2026.10.01 · 수치는 각 출처가 밝힌 조사 범위와 기간 기준입니다.