Trong nhật ký truy cập của nhiều website bây giờ xuất hiện những cái tên lạ: GPTBot, ClaudeBot, PerplexityBot… Đó là các bot AI đọc website. Một số chủ doanh nghiệp lo “bị lấy nội dung” và muốn chặn hết; số khác lại muốn được ChatGPT, Gemini nhắc tên nên muốn mở hết. Thực tế, mỗi bot phục vụ một mục đích khác nhau, và bạn có thể chọn từng loại bằng tệp robots.txt. Bài này giải thích sự khác nhau và gợi ý cách quyết định cho website doanh nghiệp nhỏ.
Ba nhóm bot AI: đọc để làm gì?
Theo tài liệu công khai của các công ty AI (cập nhật 10/2026), có thể chia thành ba nhóm:
1. Bot thu thập để huấn luyện mô hình
Ví dụ GPTBot của OpenAI, ClaudeBot của Anthropic. Chặn nhóm này nghĩa là bạn không muốn nội dung của mình được dùng để huấn luyện các mô hình AI về sau.
2. Bot phục vụ tìm kiếm bằng AI
Ví dụ OAI-SearchBot (tính năng tìm kiếm của ChatGPT), Claude-SearchBot, PerplexityBot. Nhóm này giúp website xuất hiện và được dẫn link trong câu trả lời. OpenAI cho biết website chặn OAI-SearchBot sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT (dù vẫn có thể xuất hiện dưới dạng link điều hướng).
3. Truy cập theo yêu cầu của người dùng
Ví dụ ChatGPT-User, Claude-User, Perplexity-User: khi một người dán link hoặc hỏi về một trang cụ thể, công cụ AI vào đọc trang đó. Một số nhà cung cấp nói rõ vì yêu cầu do người dùng khởi tạo nên quy tắc robots.txt có thể không áp dụng cho nhóm này.
Còn Google thì sao?
Google tách rõ hai việc:
- Googlebot thu thập cho Google Search, bao gồm cả các tính năng AI trong Search. Chặn Googlebot là tự loại mình khỏi kết quả tìm kiếm — gần như không bao giờ nên làm với website doanh nghiệp.
- Google-Extended là một “mã kiểm soát” trong robots.txt, không phải bot riêng. Nó quyết định nội dung Google thu thập có được dùng để huấn luyện các thế hệ Gemini và cho một số tính năng của Gemini hay không. Google nói rõ Google-Extended không ảnh hưởng việc website có mặt trên Google Search và không phải yếu tố xếp hạng.
robots.txt hoạt động thế nào?
robots.txt là tệp văn bản ở gốc tên miền (ví dụ tenmien.vn/robots.txt). Mỗi nhóm quy tắc bắt đầu bằng User-agent: (tên bot) rồi đến Allow hoặc Disallow (đường dẫn được phép hoặc không). Vài điều cần biết:
- robots.txt là lời đề nghị, các bot đàng hoàng tuân theo; nó không phải hàng rào bảo mật. Thông tin không muốn công khai thì đừng đặt lên web công khai;
- Thay đổi có thể mất một thời gian mới có hiệu lực (OpenAI nói khoảng 24 giờ cho tìm kiếm);
- Mỗi tên miền phụ cần robots.txt riêng;
- Viết sai một dòng như
Disallow: /dướiUser-agent: *có thể chặn toàn bộ bot, kể cả Googlebot.
Lưu ý robots.txt khác với llms.txt: robots.txt nói “ai được đọc”, còn llms.txt gợi ý “nên đọc gì” (xem bài llms.txt là gì).
Website doanh nghiệp nhỏ nên chọn thế nào?
Nếu muốn khách tìm thấy qua công cụ AI
Cho phép nhóm bot tìm kiếm (OAI-SearchBot, Claude-SearchBot, PerplexityBot) và tất nhiên là Googlebot. Đây là lựa chọn hợp lý cho cửa hàng, dịch vụ địa phương muốn được giới thiệu khi khách hỏi AI “ở Quảng Ngãi có chỗ nào…”. Dù vậy, không ai đảm bảo AI sẽ nhắc tên bạn.
Nếu không muốn nội dung bị dùng để huấn luyện
Chặn nhóm huấn luyện (GPTBot, ClaudeBot, Google-Extended) nhưng vẫn mở nhóm tìm kiếm. Đây là lựa chọn của nhiều đơn vị có nội dung tự viết công phu như bài hướng dẫn, ảnh chụp riêng.
Nếu không có lý do đặc biệt
Với website giới thiệu vài trang, để mặc định cho phép thường không gây hại, vì nội dung chủ yếu là thông tin bạn muốn càng nhiều người biết càng tốt. Ví dụ, robots.txt của webcut.click hiện chỉ chặn các khu vực quản trị và cho phép phần còn lại.
Kiểm tra website của bạn trong 5 phút
- Mở
tenmiencuaban/robots.txttrên trình duyệt; - Tìm dòng
Disallow: /và xem nó nằm dưới bot nào; - Xem có nhóm riêng cho GPTBot, Google-Extended… không, và có đúng ý bạn không;
- Nếu website dùng plugin bảo mật, dịch vụ chống bot hay CDN, kiểm tra xem có tùy chọn chặn bot AI đang bật mà bạn không biết;
- Kiểm tra trong Google Search Console rằng Googlebot vẫn đọc được các trang chính.
Nếu không tự sửa được robots.txt, nhờ người quản trị kỹ thuật hoặc đơn vị bảo trì website làm và giải thích từng dòng cho bạn.
Đừng quên: nội dung vẫn là chính
Cho bot đọc chỉ là điều kiện cần. Bot đọc được mà trang không nói rõ bạn là ai, làm gì, ở đâu, giá thế nào thì cũng khó được trích dẫn. Các gói trên bảng giá WebCut làm theo hướng chuẩn SEO, GEO (giá chưa gồm hosting và tên miền); doanh nghiệp ở Quảng Ngãi có thể xem trang website cho doanh nghiệp tại Quảng Ngãi hoặc liên hệ chi nhánh Bình Sơn.
Chưa chắc robots.txt của website mình đang cho phép hay chặn những bot nào? Nhắn Zalo 0947805184 hoặc gọi 0947588971 để được kiểm tra giúp.
Câu hỏi thường gặp
Chặn GPTBot có làm website biến mất khỏi ChatGPT không?
Theo OpenAI, GPTBot và OAI-SearchBot là hai thiết lập độc lập. Chặn GPTBot (huấn luyện) mà vẫn cho OAI-SearchBot thì website vẫn có thể xuất hiện trong tìm kiếm của ChatGPT.
Chặn Google-Extended có bị tụt hạng Google không?
Google cho biết Google-Extended không ảnh hưởng việc có mặt trên Google Search và không phải tín hiệu xếp hạng.
Bot AI có làm website chậm không?
Với website nhỏ thường không đáng kể. Nếu thấy lượng truy cập bot bất thường, người quản trị có thể giới hạn tần suất hoặc chặn bot cụ thể sau khi kiểm tra nhật ký.
Có chặn được tuyệt đối không?
Không. robots.txt chỉ hiệu quả với bot tuân thủ quy tắc, và truy cập theo yêu cầu người dùng có thể không áp dụng. Thông tin nhạy cảm không nên để công khai.
