Token đã ngừng dùng
Token này không còn được dùng. Luật viết cho nó không khớp với bot nào; nếu bạn muốn kiểm soát thì viết cho Claude-User thay thế.
Chặn nó thì mất gì
Đã ngừng sử dụng; luật viết cho nó không còn tác dụng.
Token này đã được thay thế
Luật viết cho Claude-Web không còn khớp với bot nào. Nếu bạn muốn kiểm soát, hãy viết cho Claude-User thay thế.
Dòng robots.txt cần viết
User-agent: Claude-Web
Allow: /User-agent: Claude-Web
Disallow: /Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.
Cần cả file chứ không chỉ hai dòng này? Công cụ tạo file robots.txt dựng sẵn file hoàn chỉnh, đối chiếu với cả thư viện bot rồi mới xuất ra.
Thông tin nhanh
- Nhà vận hành
- Anthropic
- Nhóm
- Trợ lý AI & mô hình ngôn ngữ
- Mức độ quan trọng
- Ảnh hưởng đáng kể tới hiển thị AI
- Tuân thủ robots.txt
- Có
- Được tính trong điểm kiểm tra
- Không, chỉ hiển thị
Claude-Web có đọc được website của bạn không?
Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.
Kiểm tra website của tôiBot khác của Anthropic
Thu thập nội dung cho Anthropic.
Tải trang theo yêu cầu trực tiếp của người dùng Claude.
Phục vụ tính năng tìm kiếm web của Claude.
Token cũ của Anthropic.
Bot khác nhóm Trợ lý AI & mô hình ngôn ngữ
Thu thập nội dung để huấn luyện mô hình của OpenAI.
OAI-SearchBotXây chỉ mục tìm kiếm cho ChatGPT Search.
Tải trang của bạn ngay lúc người dùng hỏi ChatGPT về nó.
Lập chỉ mục cho Perplexity.
Tải trang khi người dùng Perplexity yêu cầu.
Thu thập nội dung cho các sản phẩm AI của Meta.