Tuỳ bạn quyết định
Nhóm này thu thập hàng loạt để xây bộ dữ liệu, thường không dẫn nguồn về bạn. Chặn là lựa chọn hợp lý nếu bạn không muốn nội dung đi vào dữ liệu huấn luyện, và cũng hợp lý nếu bạn muốn giảm tải máy chủ.
Dòng robots.txt cần viết
User-agent: Omgilibot
Allow: /User-agent: Omgilibot
Disallow: /Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.
Cần cả file chứ không chỉ hai dòng này? Công cụ tạo file robots.txt dựng sẵn file hoàn chỉnh, đối chiếu với cả thư viện bot rồi mới xuất ra.
Thông tin nhanh
- Nhà vận hành
- WebMeUp
- Nhóm
- Thu thập dữ liệu hàng loạt
- Mức độ quan trọng
- Tuỳ chọn — chặn hay mở đều hợp lý
- Tuân thủ robots.txt
- Có
- Được tính trong điểm kiểm tra
- Không, chỉ hiển thị
Omgilibot có đọc được website của bạn không?
Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.
Kiểm tra website của tôiBot khác của WebMeUp
Crawler phân tích backlink.
Bot khác nhóm Thu thập dữ liệu hàng loạt
Common Crawl — kho dữ liệu mở mà rất nhiều mô hình AI dùng để huấn luyện.
Crawler của ByteDance (TikTok), thu thập dữ liệu cho mô hình AI.
Thu thập hình ảnh để xây dựng bộ dữ liệu.
Thu thập dữ liệu cho chỉ mục phi tập trung.