Nên cho phép
Đây là bot lập chỉ mục thông thường. Không có lý do cụ thể thì không nên chặn.
Dòng robots.txt cần viết
User-agent: PetalBot
Allow: /User-agent: PetalBot
Disallow: /Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.
Cần cả file chứ không chỉ hai dòng này? Công cụ tạo file robots.txt dựng sẵn file hoàn chỉnh, đối chiếu với cả thư viện bot rồi mới xuất ra.
Thông tin nhanh
- Nhà vận hành
- Huawei
- Nhóm
- Công cụ tìm kiếm
- Mức độ quan trọng
- Ảnh hưởng đáng kể tới hiển thị AI
- Tuân thủ robots.txt
- Có
- Được tính trong điểm kiểm tra
- Có
PetalBot có đọc được website của bạn không?
Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.
Kiểm tra website của tôiBot khác nhóm Công cụ tìm kiếm
Lập chỉ mục cho Bing.
Crawler của Apple, phục vụ Siri và Spotlight.
Crawler chính của Google Search.
Lập chỉ mục hình ảnh cho Google Images.
Lập chỉ mục cho Google News.
Kiểm tra trang thương mại điện tử cho Google Shopping.