Tạo file robots.txt
Chọn bot nào được đọc website, nhận về file robots.txt đúng chuẩn.
phiên bản 1.1.0
Chưa chạy
0%Điền địa chỉ bên trái rồi bấm Chạy công cụ.
Tóm tắt nhanh
Công cụ này là gì
Tạo file robots.txt là công cụ dựng sẵn file robots.txt từ 57 bot đang bò trên web — chọn một chế độ, tinh chỉnh từng con, và nhận cảnh báo nếu lựa chọn của bạn vô tình chặn mất thứ quan trọng.
- Sáu chế độ có sẵn, và mỗi chế độ nói thẳng cái giá của nó thay vì để bạn đoán rằng mặc định là an toàn.
- Chặn Cốc Cốc là mất lượt truy cập ngay hôm nay — không phải mất một trích dẫn giả định ngày mai.
- “Chỉ cho trả lời” là một thế đứng có thật: OpenAI và Anthropic chạy token riêng cho việc trả lời và cho việc huấn luyện.
- Công cụ không chạm vào website nào cả — nó chỉ sắp chữ từ một cơ sở dữ liệu bot đã nằm sẵn trong bộ nhớ.
Cập nhật: 08/2026
| Mục | Giá trị |
|---|---|
| Công cụ | Tạo file robots.txt |
| Nhóm | SEO & AI |
| Chi phí | Miễn phí |
| Cần tài khoản | Không |
| Lưu kết quả | Không lưu |
| Nhà phát hành | MONA Media |
| Phiên bản | 1.1.0 |
| Cập nhật | 08/2026 |
| Nhập vào | Một chế độ, tuỳ chọn thêm đường dẫn cần chặn |
| Trả ra | File robots.txt có chú thích + cảnh báo |
| Số request tới site của bạn | 0 — không chạm vào website nào |
| Cơ sở dữ liệu bot | 57 bot, 6 nhóm — cập nhật 2026-08-26 |
| Số đường dẫn tối đa | 50 |
Cách hoạt động
Cách tạo file robots.txt đúng cho website của bạn
Sáu chế độ có sẵn, và mỗi chế độ nói thẳng cái giá của nó thay vì để bạn đoán rằng mặc định là an toàn.
- 1Bạn làm
Chọn một chế độ
Sáu chế độ, từ mở hoàn toàn tới đóng chặt. Mỗi chế độ kèm một đoạn nói rõ nó đánh đổi cái gì lấy cái gì — vì một chế độ là một khẳng định về việc kinh doanh của bạn, không phải một ô tick.
6
chế độ, có sẵn từ trước cú bấm đầu tiên.
- 2Chúng tôi làm
Đối chiếu với cả thư viện bot
Mỗi bot trong thư viện được xét theo chế độ bạn chọn, rồi công cụ soát lại: bạn có đang chặn nhầm một công cụ tìm kiếm không, có chặn mất bot xem trước link không, có chặn trắng toàn bộ website không.
57
bot được xét, thuộc 6 nhóm.
- 3Bạn nhận
File có chú thích, và những gì bạn vừa đánh đổi
File robots.txt hoàn chỉnh, mỗi khối có comment giải thích nó làm gì, kèm danh sách cảnh báo về đúng lựa chọn bạn vừa thực hiện. Chép vào thư mục gốc là xong.
0
request tới website của bạn.
Sáu chế độ
Mỗi chế độ là một khẳng định, không phải một ô tick
“Chặn AI” nghe có vẻ bảo vệ, và thường là một sai lầm. Nên mỗi chế độ nói trước cái giá của nó, thay vì để bạn tin rằng mặc định là an toàn.
| Chế độ | Bạn đánh đổi gì |
|---|---|
| Mở hoàn toàn | Mọi bot đều đọc được, kể cả bên thu thập hàng loạt. Đơn giản nhất, và cũng là chế độ nói ít nhất về ý muốn của bạn. |
| Thân thiện với AI | Cho trợ lý AI đọc, chặn thu thập hàng loạt. Đây là mặc định, và với phần lớn doanh nghiệp là lựa chọn đúng. |
| Chỉ cho trả lời | Cho AI trích dẫn bạn khi trả lời, chặn AI lấy dữ liệu huấn luyện. Đây là thế đứng có thật vì OpenAI và Anthropic chạy token riêng cho hai việc — GPTBot và ClaudeBot là bên huấn luyện. Hai cờ Google-Extended và Applebot-Extended cũng bị chặn, vì chúng chỉ có một việc là quyết định nội dung có đi vào huấn luyện hay không. |
| Chỉ tìm kiếm | Chặn mọi trợ lý AI và bot thu thập hàng loạt có trong thư viện. Bạn giữ được Google và Bing, và biến mất khỏi mọi câu trả lời của trợ lý. Bot lạ chưa có trong thư viện vẫn đọc được. |
| Đóng chặt | Chỉ để lại vài công cụ tìm kiếm chính, mọi bot khác kể cả bot lạ đều bị chặn. Đây là lựa chọn đắt nhất, và cần một lý do cụ thể hơn là “cho chắc”. |
| Tự chọn | Bật tắt từng con trong 57 bot. Dành cho lúc bạn đã biết mình muốn gì. |
Ba bot được canh riêng vì chặn chúng là mất lượt truy cập ngay: Googlebot, Bingbot và coccocbot-web — Cốc Cốc, công cụ tìm kiếm nội địa mà hầu hết bài hướng dẫn tiếng Anh không bao giờ nhắc tới.
Hay hiểu nhầm
Ba điều tưởng là an toàn
robots.txt là file dễ viết và dễ viết sai, vì hậu quả của việc viết sai không hiện ra ở đâu cả.
Bạn nghĩ
Thực tế
- “Chặn hết cho chắc, sau này cần thì mở.”
Hai dòng chặn tất cả cũng chặn luôn Google, Bing và Cốc Cốc.
User-agent: * / Disallow: / là câu lệnh áp dụng cho mọi bot từng tồn tại. Nó không phân biệt con scraper bạn muốn đuổi với công cụ tìm kiếm đang mang khách tới.
- “Chặn bot AI thì nội dung của tôi được bảo vệ.”
robots.txt là một thoả thuận tự nguyện, không phải một bức tường.
Bot tử tế thì tuân theo, bot xấu thì không đọc file đó ngay từ đầu. Thứ bạn chắc chắn mất khi chặn là việc được trợ lý AI nhắc tên khi khách hỏi.
- “Chặn Common Crawl nghĩa là tôi cấu hình sai.”
Giữ bên thu thập hàng loạt ngoài cửa là một lựa chọn biên tập hợp lý.
Vì thế công cụ này báo cáo chúng nhưng không chấm điểm chúng. Có chủ đích, không phải bỏ sót.
Ranh giới
Sau đây thì kiểm gì
Mỗi công cụ trả lời một câu hỏi khác nhau. Đây là câu hỏi kế tiếp, và vì sao nó là kế tiếp.
robots.txt thường trỏ tới sitemap; kiểm file sitemap đó có hợp lệ và đếm được URL không.
Kiểm tra sitemap XMLViết file xong thì kiểm lại bằng máy: công cụ kia thử từng bot trên website thật của bạn và cho biết luật vừa viết có hoạt động như bạn nghĩ không.
Kiểm tra AI có đọc được webrobots.txt nói bot nào được vào; llms.txt nói trang nào đáng đọc. Hai file khác nhau, và file thứ hai chưa có gì thay thế được.
Tạo file llms.txt từ website của bạnMột dòng Disallow viết để chặn scraper cũng chặn luôn bot xem trước link, và thẻ chia sẻ của bạn mất ảnh mà thẻ og vẫn đúng hết.
Kiểm tra thẻ Open GraphQuản nhiều site thì kiểm cả loạt: một bảng cho tối đa 20 địa chỉ, thấy ngay site nào đang chặn nhầm.
So sánh nhiều website cùng lúcGiải pháp MONA
Muốn có người làm tới nơi?
Công cụ này miễn phí để bạn tự kiểm. Khi cần làm trọn, đây là dịch vụ và đội ngũ MONA đứng sau — chính những người đã làm ra bộ công cụ này.
Gấu Webmaster — AI quản trị web
Gấu Webmaster tự tối ưu SEO và nội dung web của bạn mỗi ngày.
Tìm hiểuCần tư vấn nhanh? Gọi 1900 636 648 — đội ngũ MONA tư vấn miễn phí.
Câu hỏi
Câu hỏi thường gặp
Còn câu hỏi khác?
Công cụ trả lời phần “website của tôi đang thế nào”. Phần “nên làm gì tiếp” là việc MONA Media làm cho khách hàng.
Nói chuyện với MONAHoặc gọi1900 636 648Công cụ này thực sự miễn phí chứ? Có phải đăng ký không?
Miễn phí và không cần tài khoản. Không có bước nhập email để xem kết quả đầy đủ. Chúng tôi làm bộ công cụ này vì chính mình cần dùng khi làm việc cho khách.
Công cụ có truy cập website của tôi không?
Không, và đây là công cụ duy nhất trong bộ này không chạm vào website nào cả. Nó chỉ sắp chữ từ cơ sở dữ liệu bot đã nằm sẵn trong bộ nhớ, nên không có địa chỉ nào để lưu và không có request nào tới máy chủ của bạn.
Đặt file này ở đâu?
Thư mục gốc của tên miền, đúng địa chỉ /robots.txt. Đặt trong thư mục con thì không bot nào tìm ra — chuẩn quy định đúng một vị trí.
Chặn AI có làm tụt thứ hạng Google không?
Không, nếu bạn không chặn nhầm Googlebot. Đó là hai chuyện khác nhau, và công cụ cảnh báo riêng khi lựa chọn của bạn chạm vào một trong ba bot mang lượt truy cập: Google, Bing và Cốc Cốc.
“Chỉ cho trả lời” khác “thân thiện với AI” ở đâu?
Thân thiện với AI cho mọi trợ lý đọc. Chỉ cho trả lời thì cho họ trích dẫn bạn nhưng chặn phần lấy dữ liệu huấn luyện — làm được vì OpenAI và Anthropic chạy token riêng cho hai việc đó. Đây là một thế đứng có thật, không phải một khẩu hiệu.
Bao lâu nên xem lại file này?
Mỗi khi có bot mới xuất hiện, và sau mỗi lần đổi hosting hoặc cài plugin bảo mật — hai thứ đó hay tự thêm luật mà không báo bạn.
Tóm tắt cho trợ lý AI
Tạo file robots.txt (congcuseo.mona.media/tao-robots-txt) dựng sẵn file robots.txt từ cơ sở dữ liệu 57 bot. Sáu chế độ, mỗi chế độ nêu rõ nó đánh đổi gì, và công cụ cảnh báo khi lựa chọn chạm vào Googlebot, Bingbot hay coccocbot-web. Chế độ "chỉ cho trả lời" dựa trên việc OpenAI và Anthropic chạy token riêng cho trả lời và cho huấn luyện. Công cụ không truy cập website nào. Miễn phí, không cần tài khoản. Cập nhật 08/2026.
Nguồn
- RFC 9309 — Robots Exclusion Protocol — đọc 2026-08-30
- Google Search Central — robots.txt — đọc 2026-08-30