Lỗi “Blocked due to unauthorized request (401)” trong Google Search Console xảy ra khi server yêu cầu thông tin đăng nhập nhưng Googlebot không thể cung cấp. Đây là tình trạng lỗi cần được khắc phục nhanh chóng nếu không sẽ khiến website tiêu hao nhiều ngân sách thu thập dữ liệu. Để xử lý tình trạng lỗi này, hãy cùng Vietnix tìm hiểu ngay sau đây.
Nguyên nhân xảy ra lỗi “Blocked due to unauthorized request (401)”
Status codes là một trong những cách được server sử dụng để giao tiếp với trình duyệt và trình thu thập thông tin. Status codes được hiểu đơn giản là các số có 3 chữ số đã được tiêu chuẩn hóa nhằm mang thông tin về page được yêu cầu bởi trình duyệt hoặc trình thu thập thông tin.
401 status code được trả về khi page yêu cầu người dùng phải đăng nhập để xem nội dung của page nhưng họ lại không cung cấp hoặc cung cấp thông tin không hợp lệ.
Nếu nội dung trong page được bảo vệ bằng mật khẩu, Google sẽ không thể thu thập dữ liệu nội dung của page đó. Ở đa số trường hợp, đây là bước quan trọng để page được lập chỉ mục.
Cách khắc phục trạng thái “Blocked due to unauthorized request (401)”
Để tìm và khắc phục những page bị lỗi “Blocked due to unauthorized request (401)”, bạn tiến hành như sau:
Bước 1: Mở Google Search Console. Sau đó, truy cập vào phần báo cáo Page Index từ thanh điều hướng bên trái GSC.
Bước 2: Trên màn hình hiển thị số lượng page bị ảnh hưởng và sự thay đổi của các page đó, cũng như danh sách URL.
Lưu ý: Danh sách này có thể xuất và lọc sang các khu vực quan trọng nhất hoặc có vấn đề cần được xem xét.
Bước 3: Quyết định page nào nên được Google lập chỉ mục và page nào không dựa trên các page trả về 401 status code cho Googlebot.
Có nên lập chỉ mục page bị lỗi “Blocked due to unauthorized request (401)” ?
Không phải tất cả các page trên domain đều được lập chỉ mục. Các website thường rất khó để có thể được mức độ lập chỉ mục 100%. Chính vì vậy mà việc đưa cái gì vào chỉ mục là một quyết định mang tính chiến lược.
Quy tắc này đặc biệt áp dụng cho những page được bảo mật bằng login wall. Tuy nhiên, một trong số trường hợp bạn thực sự muốn page được lập chỉ mục trên Google.
Lúc này, bạn có thể phân biệt các page sử dụng mật khẩu để bảo mật thành 3 loại:
- Các page được bảo vệ nhưng có thể lập chỉ mục
Trong một số trường hợp, page được thiết lập bảo mật bằng mật khẩu nên được lập chỉ mục để hiển thị trong kết quả tìm kiếm và tạo ra các lướt nhấp chuột.
Ví dụ: Bạn có thể vận hành một site tin tức trả phí và vừa đăng tải công khai một bài viết thú vị. Nếu muốn người dùng internet có thể tìm thấy bài viết và mua gói đăng ký để truy cập được toàn bộ nội dung. Lúc này đây, page cần yêu cầu thông tin đăng nhập từ người dùng và được Google lập chỉ mục.
- Các page được bảo vệ nhưng không thể lập chỉ mục
Có một cách xử lý khác đối với các page chứa nội dung không hữu ích cho người truy cập chưa phải là người dùng website. Các page như vậy không cần thiết phải xuất hiện trong Google Search và Google Index.
- Các page mô phỏng
Trường hợp đang làm việc với page mô phỏng, bạn sẽ không muốn những page này trở thành page công khai và xuất hiện trong kết quả tìm kiếm của Google. Tuy nhiên, việc sử dụng trạng thái “Blocked due to unauthorized request (401)” lại không phù hợp để chặn các page này được lập chỉ mục bởi Google Index.
Nếu việc quản lý ngân sách thu thập dữ liệu không được tối ưu hóa, các page có giá trị sẽ ít nhận được sự chú ý từ quá trình thu thập dữ liệu của các công cụ tìm kiếm.
Để dễ dàng phân biệt giữa page có thể lập chỉ mục và page không thể lập chỉ mục, bạn có thể lọc các page được đề cập trong sitemap.
Các URL được đưa vào sitemap đều đóng vai trò quan trọng trong chiến lược phát triển website và nên được nằm trong danh sách chỉ mục của Google để tạo lưu lượng truy cập tự nhiên – organic traffic.
Sau khi đã quyết định về vị trí của các page 401, bạn có thể ứng dụng một trong số giải pháp khắc phục được đề cập ở bên dưới:
Tùy chọn 1: Cho phép Googlebot thu thập dữ liệu các trang
Đối với các page 401 muốn lập chỉ mục, bạn cần thay đổi thiết lập server để Google có thể truy cập và thu thập dữ liệu các URL này. Điều này đồng nghĩa rằng, server sẽ có cách xử lý Googlebot khác với trình duyệt người dùng.
Thông thường, việc hiển thị nội dung cho Google khác với nội dung người dùng trình duyệt có thể gây ra hình phạt thủ công cho hành vi cloaking. Vì vậy cần phải báo hiệu cho trình thu thập dữ liệu nguyên nhân bạn quyết định chọn giải pháp xử lý này thông qua cách áp dụng dữ liệu có cấu trúc đối với những page tính phí.
Lưu ý: Hướng dẫn của Google có thể chỉ cho bạn dữ liệu có cấu trúc nào cần thêm vào các page đăng ký.
Tùy chọn 2: Đảm bảo 401 pages không lãng phí ngân sách thu thập dữ liệu
Đối với những page 401 không có trong danh sách chỉ mục của Google, bạn nên chặn thu thập dữ liệu các page đó bằng cách sử dụng thêm lệnh trong file robots.txt. File này chứa các lệnh cho phép trình thu thập thông tin biết được những page nào mình có thể truy cập trong website.
Để Googlebot phát hiện các page 401 không muốn lập chỉ mục, bạn tiến hành:
Bước 1: Nhấp vào biểu tượng kính lúp để sử dụng URL Inspection Tool từ danh sách các page bị ảnh hưởng.
Bước 2: Tìm hiểu các liên kết dẫn trình thu thập thông tin đến page 401 cụ thể dựa trên những thông tin được hiển thị trong URL Inspection tool.
Bước 3: Sử dụng trình thu thập thông tin SEO để chỉnh sửa các page đã đề cập ở trên cũng như loại bỏ các liên kết nếu chúng không còn cần thiết và có thể gây ra sự hỗn loạn trên website.
Giải pháp dài hạn
Áp dụng 2 giải pháp trên, các page quan trọng trên website của bạn có thể được lập chỉ mục và cải thiện hiệu quả khả năng phân bổ ngân sách thu thập dữ liệu. Tuy nhiên, nếu trạng thái “Blocked due to unauthorized request (401)” trong Google Search Console hiển thị do lỗi trên server thì các giải pháp này không thể đảm bảo 100% các sự cố lập chỉ mục sẽ không quay trở lại trong tương lai.
Tương tự các website khác hiện nay, domain có thể hưởng lợi từ việc thường xuyên đánh giá technical SEO. Bởi, việc làm này giúp loại bỏ các mối đe dọa lên khả năng hiển thị của website trên công cụ tìm kiếm trước khi xảy ra bất kỳ thiệt hại nào.
Cùng tham khảo thêm một số bài viết liên quan về cách sửa lỗi trong GSC có thể bạn quan tâm:
📌 Cách sửa lỗi Redirect error trong Google Search Console
📌 Cách sử dụng công cụ xóa URL trong GSC đơn giản nhất
📌 Sửa lỗi Crawled – Currently Not Indexed trong Google Search Console
Lời kết
Trên đây là những thông tin chia sẻ về nguyên nhân và cách khắc phục lỗi “Blocked due to unauthorized request (401)” trong Google Search Console. Hy vọng bài viết sẽ giúp bạn hiểu rõ hơn và giải quyết thành công những tình trạng lỗi khiến page không thể lập chỉ mục và hiển thị trên Google.
