Yahoo
Nên cho phép
Đây là bot lập chỉ mục thông thường. Không có lý do cụ thể thì không nên chặn.
Dòng robots.txt cần viết
Cho phép
User-agent: Slurp
Allow: /Chặn
User-agent: Slurp
Disallow: /Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.
Thông tin nhanh
- Nhà vận hành
- Yahoo
- Nhóm
- Công cụ tìm kiếm
- Mức độ quan trọng
- Tuỳ chọn — chặn hay mở đều hợp lý
- Tuân thủ robots.txt
- Có
- Được tính trong điểm kiểm tra
- Không, chỉ hiển thị
Slurp có đọc được website của bạn không?
Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.
Kiểm tra website của tôiBot khác nhóm Công cụ tìm kiếm
Lập chỉ mục cho Bing.
Crawler của Apple, phục vụ Siri và Spotlight.
Crawler của Petal Search (Huawei).
Crawler chính của Google Search.
Lập chỉ mục hình ảnh cho Google Images.
Lập chỉ mục cho Google News.