Việc sử dụng chính xác thẻ Meta Robots giúp bạn kiểm soát cách các công cụ tìm kiếm đọc hiểu nội dung, thu thập dữ liệu, lập chỉ mục và xếp hạng web trên các công cụ tìm kiếm. Bài viết dưới đây sẽ giúp bạn hiểu rõ hơn về cấu trúc Meta Robots là gì và cách cài đặt Meta Robots chính xác.
Thẻ Meta Robots là gì?
Thẻ Meta Robots là một một đoạn mã HTML giúp kiểm soát cách Google nên lập chỉ mục và hiển thị một trang riêng lẻ cho người dùng tại kết quả tìm kiếm của Google. Và đoạn mã này sẽ được đặt trong phần <head> của trang dưới dạng như sau:
<meta name=”robots” content=”noindex”/>Cùng tham khảo một số bài viết về SEO Technical có thể bạn quan tâm:
📌 Technical SEO là gì? Hướng dẫn từ A-Z cách tối ưu Technical SEO
📌 SEO Audit là gì? Cách SEO Audit website tổng thể
Thẻ Meta Robots trong SEO quan trọng như thế nào?
Trong SEO, thẻ Meta Robots được sử dụng với nhiều mục đích khác nhau, tuy nhiên phổ biến nhất là để ngăn không cho Google lập chỉ mục và đưa những trang bạn không mong muốn lên kết quả tìm kiếm.
Trong quá trình thực hiện SEO sẽ có một số trang cần có nội dung nhưng chúng lại không mang đến quá nhiều giá trị cho người dùng. Đó thường là các trang sau:
- Những trang quản trị.
- Trang chứa tài liệu nội bộ doanh nghiệp, tổ chức.
- Trang chứa bài viết về chương trình giảm giá, khuyến mãi.
- Trang chứa nội dung mỏng, ít hoặc nội dung bị trùng lặp.
Một số thuộc tính của thẻ Meta Robots
Thẻ Meta Robots có 2 thuộc tính là “name” và “content”, cách mà bạn dùng để gán giá trị cho 2 thuộc tính này sẽ quyết định cách để những crawler làm theo.
| Tên thẻ | Cấu trúc thẻ | Tác dụng | Ứng dụng |
|---|---|---|---|
| All | <meta name=”robots” content=”all” /> | ||
| Noindex | <meta name=”robots” content=”noindex” /> | Ngăn không cho các công cụ tìm kiếm lập chỉ mục trang. | Khi bạn không muốn trang nào đó hiển thị trên kết quả tìm kiếm. |
| Nofollow | <meta name=”robots” content=”nofollow” /> | Ngăn robots không thu thập liên kết trên trang. Nhưng vẫn được phép lập chỉ mục chúng | |
| None | <meta name=”robots” content=”none” /> | Sự kết hợp giữa 2 thẻ Noindex và Nofollow với nhau. | Khi không muốn công cụ tìm kiếm lập chỉ mục và các Robots không thu thập liên kết trang, bạn có thể sử dụng thẻ này. |
| Noarchive | <meta name=”robots” content=”noarchive” /> | Không cho Google hiển thị bản sao đã lưu trong bộ nhớ cache của trang tại SERP. | |
| Notraslate | <meta name=”robots” content=”notranslate” /> | Không cho Google cung cấp bản dịch của trang tại SERP. | |
| Noimageindex | <meta name=”robots” content=”noimageindex” /> | Không cho Google lập chỉ mục những hình ảnh đã được nhúng trên trang. | |
| Unavailable_after | <meta name=”robots” content=”unavailable_after: Tuesday, 03-Sep-20 12:21:22 GMT” /> | Không cho Google hiển thị một trang trên kết quả tìm kiếm sau một ngày hoặc thời điểm xác định. | Khi bạn không muốn một trang xuất hiện trong kết quả tìm kiếm sau một thời điểm xác định. Lưu ý thời gian phải chính xác theo đúng định dạng. Ví dụ: Tuesday, 03 -Sep-20 12:21:22 |
| Nosnippet | <meta name=”robots” content=”nosnippet” /> | Không cho các đoạn trích như hình ảnh, văn bản, video,… hiển thị trên kết quả tìm kiếm. | Trường hợp bạn cần hiển thị chúng hãy chèn đoạn mã HTML sau<meta name=”robots” content=”max-snippet:-1, max-image-preview:large, max-video-preview:-1″ />vào trang web của mình. |
| Max-snippet | <meta name=”robots” content=”max-snippet:X” /> | Chỉ định tối đa số lượng ký tự mà Google có thể hiển thị trong những đoạn văn bản của họ. Nếu bạn thay X bằng 0, tức là không tham gia các đoạn văn bản. x = -1 tức là không có giới hạn về bản xem trước của văn bản. | Thay X bằng số lượng ký tự lớn nhất mà Google có thể hiển thị. |
| Max-image-preview | <meta name=”robots” content=”max-image-preview:X” /> | Cho Google biết kích thước hình ảnh sẽ được sử dụng cho đoạn mã hình ảnh. | Thay X bằng giá trị muốn hiển thị trên Google: – none: Không hiển thị đoạn mã hình ảnh nào. – standard: Hiển thị bản xem trước hình ảnh kích thước mặc định. – large: Bản xem trước hình ảnh lớn nhất có thể được hiển thị. |
| Max-video-preview | <meta name=”robots” content=”max-video-preview:X” /> | Tùy chỉnh số giây tối đa cho một đoạn video. | Thay X bằng số giây tương ứng: 0: Không hiển thị video xem trước. -1: Không giới hạn số giây hiển thị. |
Ngoài ra, bạn được phép tạo nhiều lệnh với cách dùng dấu phẩy vào câu lệnh.
Chẳng hạn: <meta name=”robots” content=”max-snippet:15,max-image-preview:standard”>
Thẻ này đã chỉ định giới hạn 15 ký tự cho đoạn trích của văn bản và cho phép hiển thị hình ảnh xem trước với kích thước standard (mặc định).
Ví dụ: <meta name=”robots” content=nofollow,nosnippet”>
Thẻ này yêu cầu Google không thu thập toàn bộ các liên kết có trên trang cũng như không hiển thị các đoạn trích hình ảnh, văn bản, video,… trên kết quả tìm kiếm.
Kiểm tra và thay đổi thuộc tính của thẻ Meta Robots
Dưới đây là một số cách kiểm tra và thay đổi thuộc tính của thẻ Meta Robots bạn có thể tham khảo:
Cách kiểm tra trang có thuộc tính Meta Robots không?
Muốn kiểm tra một trang web bất kỳ nào có đang sử dụng thuộc tính thẻ Meta Robots nào hay không và cách để thay đổi những thuộc tính này bạn có thể theo dõi các bước dưới đây:
- Bước 1: Tại trang bạn muốn kiểm tra bấm “Xem nguồn trang” hoặc nhấn phím tắt Ctrl + U (cho Windows) và Option + Command + U (Cho Mac).
- Bước 2: Nhấn Ctrl + F hoặc Command + F để tìm kiếm.
- Bước 3: Nhập vào khung tìm kiếm từ khóa meta name=”robots” hoặc meta content để tiến hành kiểm tra.
Đến đây bạn sẽ nhìn thấy những thuộc tính mà website đang sử dụng.
Lưu ý: Trường hợp không tìm thấy thì mặc định website Index.
Thay đổi thuộc tính Meta Robots trong HTML/CSS
Để thay đổi thuộc tính cho Meta Robots, bạn có thể thực hiện các cách sau:
Cách 1: Chỉnh sửa file robots.txt.
Cách 2: Chỉnh sửa trong thẻ Meta Robots.
Sử dụng plugin Yoast SEO đối với website sử dụng WordPress
Nếu website của bạn đang sử dụng nền tảng WordPress thì có thể tham khảo cách chỉnh sửa thuộc tính cho thẻ Meta Robots bằng plugin Yoast SEO theo những bước dưới đây:
- Bước 1: Vào website cần thiết lập bằng quyền Admin.
- Bước 2: Di chuyển đến mục Thiết lập nâng cao. Đến đây bạn có thể đổi thuộc tính thẻ thành “noindex” và “nofollow”. Tại tab robots meta nâng cao bạn thực hiện thiết lập cho những thẻ meta khác.
Sử dụng plugin Rank Math
Bạn có thể thực hiện các thao tác sau nếu đang sử dụng plugin Rank Math:
- Bước 1: Đến phần chỉnh sửa của bài viết.
- Bước 2: Chọn mục “Advanced”.
- Bước 3: Chọn thẻ mà bạn cần đặt.
Điểm khác biệt giữa thẻ Meta Robots và thẻ X‑Robots-Tag
Cũng giống Meta Robots, tuy nhiên X‑Robots-Tag mang đến cho người dùng sự linh hoạt thông qua việc cho phép kiểm soát cách các tệp được lập chỉ mục.
Cách sử dụng X-Robots-Tag
Bạn tiến hành chèn đoạn mã sau vào đầu tệp header.php khi muốn ngăn công cụ tìm kiếm hiển thị những tệp đã tạo bằng PHP:
header(“X-robots-Tag: noindex”, true);Tuy nhiên, nó không ngăn các công cụ tìm kiếm thu thập dữ liệu theo những liên kết trên các trang đó. Nếu muốn ngăn chặn việc thu thập dữ liệu qua liên kết, bạn chèn sửa lại đoạn mã giống như sau:
header(“X-robots-Tag: noindex, nofollow”, true)Tuy sử dụng phương pháp này với PHP sẽ có những lợi ích riêng, nhưng có thể bạn đang cần chặn hoàn toàn một số tệp cụ thể. Cách tiếp cận đơn giản hơn sẽ là thêm X‑Robots-Tag vào cấu hình máy chủ của bạn hoặc vào tệp .hataccess.
Ví dụ bạn đang chạy một trang web có một số tệp .doc, nhưng bạn muốn yêu cầu các công cụ tìm kiếm không lập chỉ mục loại tệp đó thì hãy thêm dòng sau vào tệp cấu hình .htaccess trên Apache server:
<FilesMatch”.doc$”>Header set X-robots-Tag “noindex, noarchive, nosnippet”</FilesMatch>Trường hợp muốn chặn lập chỉ mục cả tệp .doc và .pdf:
<FilesMatch”.(doc|pdf)$”>Header set X-robots-Tag “noindex, noarchive, nosnippet”</FilesMatch>Hoặc, nếu đang chạy Nginx thay vì Apache, bạn có thể thêm những dòng sau:
location ~*\(doc|pdf)${add_header X-robots-Tag “noindex, noarchive, nosnippet”;]Một số trường hợp, chính tệp robots.txt có thể hiển thị tại kết quả tìm kiếm. Lúc này, bạn thêm lệnh sau để ngăn công cụ tìm kiếm lập chỉ mục tệp này:
<FilesMatch “ robots.txt”>Header set X-robots-Tag “noindex”</FilesMatch>Với Nginx:
location = robots.txt{add_header X-robots-Tag “noindex”;}Cân nhắc sử dụng thẻ X Robots thay thế cho Meta Robots khi nào?
X-robots-tag nên được dùng trong trường hợp bạn không thể sử dụng HTML để thiết lập thẻ Meta Robots.
Cụ thể như sau:
- Cần noindex cho tất cả danh mục con, tên miền,…
- Hoặc muốn đặt đọan mã HTML.
- Thiết lập noindex cho những tệp không phải là HTML như hình ảnh, PDF,…
Cùng tham khảo thêm một số bài viết liên quan đến SEO có thể bạn quan tâm:
📌 Quy trình SEO website cơ bản chỉ với 8 bước đơn giản
📌 18 bí kíp và tư duy làm SEO lên top Google bền vững
📌 SEO Onpage là gì? Cách tối ưu SEO Onpage cho website
Lời kết
Nội dung bên trên đã giúp bạn hiểu rõ thẻ Meta Robots là gì và cách đặt thẻ Meta Robots chi tiết nhất. Trong quá trình thực hiện các thao tác, nếu có vấn đề gì thắc mắc bạn có thể bình luận bên dưới bài viết để mọi người cùng giải đáp. Cảm ơn bạn đã theo dõi và đừng quên chia sẻ nếu thấy bài viết hữu ích nhé.
