Thư viện botTrợ lý AI & mô hình ngôn ngữ

Meta-ExternalFetcher

Tải từng trang theo yêu cầu trong sản phẩm của Meta.

Nên cho phép

Đây là bot lập chỉ mục thông thường. Không có lý do cụ thể thì không nên chặn.

Cho phép

User-agent: Meta-ExternalFetcher
Allow: /

Chặn

User-agent: Meta-ExternalFetcher
Disallow: /

Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.

Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.

Thu thập nội dung cho các sản phẩm AI của Meta.

Facebook Previewfacebookexternalhit

Tạo ảnh và tiêu đề xem trước khi link của bạn được chia sẻ lên Facebook.

Thu thập nội dung để huấn luyện mô hình của OpenAI.

Xây chỉ mục tìm kiếm cho ChatGPT Search.

Tải trang của bạn ngay lúc người dùng hỏi ChatGPT về nó.

Thu thập nội dung cho Anthropic.

Tải trang theo yêu cầu trực tiếp của người dùng Claude.

Phục vụ tính năng tìm kiếm web của Claude.