WebMeUp
Tuỳ bạn quyết định
Chặn thì đối thủ khó phân tích backlink của bạn hơn, nhưng chính bạn cũng mất khả năng dùng công cụ đó để kiểm tra site mình.
Dòng robots.txt cần viết
Cho phép
User-agent: BLEXBot
Allow: /Chặn
User-agent: BLEXBot
Disallow: /Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.
Cần cả file chứ không chỉ hai dòng này? Công cụ tạo file robots.txt dựng sẵn file hoàn chỉnh, đối chiếu với cả thư viện bot rồi mới xuất ra.
Thông tin nhanh
- Nhà vận hành
- WebMeUp
- Nhóm
- Công cụ SEO
- Mức độ quan trọng
- Tuỳ chọn — chặn hay mở đều hợp lý
- Tuân thủ robots.txt
- Có
- Được tính trong điểm kiểm tra
- Không, chỉ hiển thị
BLEXBot có đọc được website của bạn không?
Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.
Kiểm tra website của tôiBot khác của WebMeUp
Thu thập nội dung để bán lại dưới dạng bộ dữ liệu.
Bot khác nhóm Công cụ SEO
Xây dựng chỉ mục backlink cho Ahrefs.
Thu thập dữ liệu cho Semrush.
Crawler của Moz.
Công cụ kiểm tra site của Moz.
Crawler của Majestic.
Screaming Frog
Screaming Frog SEO SpiderCông cụ kiểm tra SEO chạy trên máy người dùng.