Thư viện botThu thập dữ liệu hàng loạt
Bytespider
Crawler của ByteDance (TikTok), thu thập dữ liệu cho mô hình AI.
ByteDance
Tuỳ bạn quyết định
Nhóm này thu thập hàng loạt để xây bộ dữ liệu, thường không dẫn nguồn về bạn. Chặn là lựa chọn hợp lý nếu bạn không muốn nội dung đi vào dữ liệu huấn luyện, và cũng hợp lý nếu bạn muốn giảm tải máy chủ.
Chặn nó thì mất gì
Nổi tiếng thu thập với tần suất rất cao; nhiều chủ site chặn vì tải chứ không vì bản quyền.
Dòng robots.txt cần viết
Cho phép
User-agent: Bytespider
Allow: /Chặn
User-agent: Bytespider
Disallow: /Đặt đoạn này trước nhóm User-agent: * để chắc chắn nó được áp dụng.
Thông tin nhanh
- Nhà vận hành
- ByteDance
- Nhóm
- Thu thập dữ liệu hàng loạt
- Mức độ quan trọng
- Ảnh hưởng đáng kể tới hiển thị AI
- Tuân thủ robots.txt
- Có
- Được tính trong điểm kiểm tra
- Không, chỉ hiển thị
Bytespider có đọc được website của bạn không?
Kiểm tra trong 10 giây — không cần đăng ký. Công cụ chỉ ra đúng dòng luật đang quyết định điều đó.
Kiểm tra website của tôiBot khác nhóm Thu thập dữ liệu hàng loạt
Common Crawl — kho dữ liệu mở mà rất nhiều mô hình AI dùng để huấn luyện.
Thu thập hình ảnh để xây dựng bộ dữ liệu.
Thu thập dữ liệu cho chỉ mục phi tập trung.
Thu thập nội dung để bán lại dưới dạng bộ dữ liệu.