Dữ liệu nền

Thư viện bot

Hồ sơ đầy đủ của 57 bot đang bò trên web: ai vận hành nó, nó lấy gì của bạn, chặn nó thì mất gì, và dòng robots.txt chính xác để cho phép hoặc chặn.

bot có hồ sơ

bot quyết định việc được trích dẫn

phiên bản 1.0.0cập nhật 2026-08-26

Trợ lý AI & mô hình ngôn ngữ19

GPTBot

Thu thập nội dung để huấn luyện mô hình của OpenAI.

OpenAIQuan trọng nhất

OpenAI SearchBot

OAI-SearchBot

Xây chỉ mục tìm kiếm cho ChatGPT Search.

OpenAIQuan trọng nhất

ChatGPT-User

Tải trang của bạn ngay lúc người dùng hỏi ChatGPT về nó.

OpenAIQuan trọng nhất

ClaudeBot

Thu thập nội dung cho Anthropic.

AnthropicQuan trọng nhất

Claude-User

Tải trang theo yêu cầu trực tiếp của người dùng Claude.

AnthropicQuan trọng nhất

Claude-SearchBot

Phục vụ tính năng tìm kiếm web của Claude.

AnthropicQuan trọng nhất

PerplexityBot

Lập chỉ mục cho Perplexity.

PerplexityQuan trọng nhất

Perplexity-User

Tải trang khi người dùng Perplexity yêu cầu.

PerplexityQuan trọng nhất

Meta-ExternalAgent

Thu thập nội dung cho các sản phẩm AI của Meta.

MetaQuan trọng nhất

Amazonbot

Thu thập nội dung cho Alexa và các dịch vụ AI của Amazon.

Amazon

DuckAssistBot

Phục vụ tính năng trả lời bằng AI của DuckDuckGo.

DuckDuckGo

MistralAI-User

Tải trang theo yêu cầu người dùng của trợ lý Mistral.

Mistral AI

cohere-ai

Thu thập nội dung cho các mô hình của Cohere.

Cohere

YouBot

Lập chỉ mục cho công cụ tìm kiếm AI You.com.

You.com

Meta-ExternalFetcher

Tải từng trang theo yêu cầu trong sản phẩm của Meta.

AI2Bot

Thu thập dữ liệu nghiên cứu mở của Allen Institute for AI.

Allen Institute for AI

Diffbot

Trích xuất dữ liệu có cấu trúc, bán lại cho bên thứ ba.

Diffbot

anthropic-ai

Token cũ của Anthropic.

AnthropicĐã ngừng dùng

Claude-Web

Token cũ của Anthropic.

AnthropicĐã ngừng dùng

Công cụ tìm kiếm17

Bingbot

Lập chỉ mục cho Bing.

MicrosoftQuan trọng nhất

Applebot

Crawler của Apple, phục vụ Siri và Spotlight.

Apple

PetalBot

Crawler của Petal Search (Huawei).

Huawei

Googlebot

Crawler chính của Google Search.

Google

Googlebot-Image

Lập chỉ mục hình ảnh cho Google Images.

Google

Googlebot-News

Lập chỉ mục cho Google News.

Google

Storebot-Google

Kiểm tra trang thương mại điện tử cho Google Shopping.

Google

Google-InspectionTool

Công cụ kiểm tra URL trong Google Search Console.

Google

AdsBot-Google

Chấm điểm chất lượng trang đích cho Google Ads.

Google

Slurp

Crawler của Yahoo Search.

Yahoo

DuckDuckBot

Crawler của DuckDuckGo.

DuckDuckGo

Baiduspider

Crawler của Baidu (Trung Quốc).

Baidu

YandexBot

Crawler của Yandex (Nga).

Yandex

Yeti

Crawler của Naver (Hàn Quốc).

Naver

SeznamBot

Crawler của Seznam (Séc).

Seznam

Cốc Cốc Bot

coccocbot-web

Crawler của Cốc Cốc — công cụ tìm kiếm nội địa Việt Nam.

Cốc CốcViệt Nam

Cốc Cốc Image Bot

coccocbot-image

Lập chỉ mục hình ảnh cho Cốc Cốc.

Cốc CốcViệt Nam

Thu thập dữ liệu hàng loạt5

CCBot

Common Crawl — kho dữ liệu mở mà rất nhiều mô hình AI dùng để huấn luyện.

Common Crawl

Bytespider

Crawler của ByteDance (TikTok), thu thập dữ liệu cho mô hình AI.

ByteDance

ImagesiftBot

Thu thập hình ảnh để xây dựng bộ dữ liệu.

Diffbot

Timpibot

Thu thập dữ liệu cho chỉ mục phi tập trung.

Diffbot

Omgilibot

Thu thập nội dung để bán lại dưới dạng bộ dữ liệu.

WebMeUp

Công cụ SEO7

AhrefsBot

Xây dựng chỉ mục backlink cho Ahrefs.

Ahrefs

SemrushBot

Thu thập dữ liệu cho Semrush.

Semrush

DotBot

Crawler của Moz.

Moz

rogerbot

Công cụ kiểm tra site của Moz.

Moz

MJ12bot

Crawler của Majestic.

Majestic

Screaming Frog

Screaming Frog SEO Spider

Công cụ kiểm tra SEO chạy trên máy người dùng.

Screaming Frog

BLEXBot

Crawler phân tích backlink.

WebMeUp

Mạng xã hội & xem trước link7

Facebook Preview

facebookexternalhit

Tạo ảnh và tiêu đề xem trước khi link của bạn được chia sẻ lên Facebook.

Twitterbot

Tạo thẻ xem trước trên X.

X (Twitter)

LinkedInBot

Tạo xem trước link trên LinkedIn.

Slackbot

Slackbot-LinkExpanding

Mở rộng link trong tin nhắn Slack.

Slack

Discordbot

Tạo xem trước link trong Discord.

Discord

TelegramBot

Tạo xem trước link trong Telegram.

Pinterestbot

Thu thập nội dung để ghim trên Pinterest.

Cờ điều khiển (không phải bot)2

Google-Extended

KHÔNG phải crawler. Là cờ trong robots.txt quyết định Google có được dùng nội dung của bạn cho Gemini hay không.

GoogleQuan trọng nhấtKhông phải bot

Applebot-Extended

KHÔNG phải crawler. Cờ quyết định Apple có dùng nội dung đã thu thập để huấn luyện Apple Intelligence hay không.

AppleQuan trọng nhấtKhông phải bot