Sửa lỗi “Blocked due to unauthorized request (401)” trong Google Search Console

Lượt xem
Home

Lỗi “Blocked due to unauthorized request (401)” trong Google Search Console xảy ra khi server yêu cầu thông tin đăng nhập nhưng Googlebot không thể cung cấp. Đây là tình trạng lỗi cần được khắc phục nhanh chóng nếu không sẽ khiến website tiêu hao nhiều ngân sách thu thập dữ liệu. Để xử lý tình trạng lỗi này, hãy cùng Vietnix tìm hiểu ngay sau đây. 

Nguyên nhân xảy ra lỗi “Blocked due to unauthorized request (401)”

Status codes là một trong những cách được server sử dụng để giao tiếp với trình duyệt và trình thu thập thông tin. Status codes được hiểu đơn giản là các số có 3 chữ số đã được tiêu chuẩn hóa nhằm mang thông tin về page được yêu cầu bởi trình duyệt hoặc trình thu thập thông tin. 

Nguyên nhân hình thành lỗi "Blocked due to unauthorized request (401)”
Nguyên nhân hình thành lỗi “Blocked due to unauthorized request (401)”

401 status code được trả về khi page yêu cầu người dùng phải đăng nhập để xem nội dung của page nhưng họ lại không cung cấp hoặc cung cấp thông tin không hợp lệ. 

Nếu nội dung trong page được bảo vệ bằng mật khẩu, Google sẽ không thể thu thập dữ liệu nội dung của page đó. Ở đa số trường hợp, đây là bước quan trọng để page được lập chỉ mục.

Cách khắc phục trạng thái “Blocked due to unauthorized request (401)”

Để tìm và khắc phục những page bị lỗi “Blocked due to unauthorized request (401)”, bạn tiến hành như sau:

Bước 1: Mở Google Search Console. Sau đó, truy cập vào phần báo cáo Page Index từ thanh điều hướng bên trái GSC. 

Truy cập vào Page Index tại thanh điều hướng bên trái GSC
Truy cập vào Page Index tại thanh điều hướng bên trái GSC

Bước 2: Trên màn hình hiển thị số lượng page bị ảnh hưởng và sự thay đổi của các page đó, cũng như danh sách URL.

Lưu ý: Danh sách này có thể xuất và lọc sang các khu vực quan trọng nhất hoặc có vấn đề cần được xem xét. 

Ảnh chụp màn hình hiển thị biểu đồ và danh sách các URL bị ảnh hưởng bởi lỗi "Bị chặn do yêu cầu trái phép (401)".
Số lượng page bị ảnh hưởng trong Google Search Console

Bước 3: Quyết định page nào nên được Google lập chỉ mục và page nào không dựa trên các page trả về 401 status code cho Googlebot

Có nên lập chỉ mục page bị lỗi “Blocked due to unauthorized request (401)” ?

Không phải tất cả các page trên domain đều được lập chỉ mục. Các website thường rất khó để có thể được mức độ lập chỉ mục 100%. Chính vì vậy mà việc đưa cái gì vào chỉ mục là một quyết định mang tính chiến lược.

Quy tắc này đặc biệt áp dụng cho những page được bảo mật bằng login wall. Tuy nhiên, một trong số trường hợp bạn thực sự muốn page được lập chỉ mục trên Google.

Lúc này, bạn có thể phân biệt các page sử dụng mật khẩu để bảo mật thành 3 loại: 

Phân biệt 3 pages dùng mật khẩu để bảo mật
Phân biệt 3 pages dùng mật khẩu để bảo mật
  • Các page được bảo vệ nhưng có thể lập chỉ mục

Trong một số trường hợp, page được thiết lập bảo mật bằng mật khẩu nên được lập chỉ mục để hiển thị trong kết quả tìm kiếm và tạo ra các lướt nhấp chuột. 

Ví dụ: Bạn có thể vận hành một site tin tức trả phí và vừa đăng tải công khai một bài viết thú vị. Nếu muốn người dùng internet có thể tìm thấy bài viết và mua gói đăng ký để truy cập được toàn bộ nội dung. Lúc này đây, page cần yêu cầu thông tin đăng nhập từ người dùng và được Google lập chỉ mục. 

  • Các page được bảo vệ nhưng không thể lập chỉ mục

Có một cách xử lý khác đối với các page chứa nội dung không hữu ích cho người truy cập chưa phải là người dùng website. Các page như vậy không cần thiết phải xuất hiện trong Google Search và Google Index. 

  • Các page mô phỏng 

Trường hợp đang làm việc với page mô phỏng, bạn sẽ không muốn những page này trở thành page công khai và xuất hiện trong kết quả tìm kiếm của Google. Tuy nhiên, việc sử dụng trạng thái “Blocked due to unauthorized request (401)” lại không phù hợp để chặn các page này được lập chỉ mục bởi Google Index. 

Nguyên nhân là do Google phải tiêu tốn nguồn tài nguyên của mình để thu thập dữ liệu. Chính vì vậy mà Google mới cần phải cẩn thận cho những quyết định về tần suất, số lượng và URL nào nên được thu thập.

Nếu việc quản lý ngân sách thu thập dữ liệu không được tối ưu hóa, các page có giá trị sẽ ít nhận được sự chú ý từ quá trình thu thập dữ liệu của các công cụ tìm kiếm. 

Để dễ dàng phân biệt giữa page có thể lập chỉ mục và page không thể lập chỉ mục, bạn có thể lọc các page được đề cập trong sitemap

Ảnh chụp màn hình hiển thị cách lọc URL của bạn trong Google Search Console.
Tiến hành lọc các page được đề cập trong sitemap

Các URL được đưa vào sitemap đều đóng vai trò quan trọng trong chiến lược phát triển website và nên được nằm trong danh sách chỉ mục của Google để tạo lưu lượng truy cập tự nhiên – organic traffic

Sau khi đã quyết định về vị trí của các page 401, bạn có thể ứng dụng một trong số giải pháp khắc phục được đề cập ở bên dưới:

  • Tùy chọn 1: Cho phép Googlebif thu thập dữ liệu các trang
  • Tùy chọn 2: Đảm bảo 401 pages không lãng phí ngân sách thu thập dữ liệu

Tùy chọn 1: Cho phép Googlebot thu thập dữ liệu các trang

Đối với các page 401 muốn lập chỉ mục, bạn cần thay đổi thiết lập server để Google có thể truy cập và thu thập dữ liệu các URL này. Điều này đồng nghĩa rằng, server sẽ có cách xử lý Googlebot khác với trình duyệt người dùng. 

Thông thường, việc hiển thị nội dung cho Google khác với nội dung người dùng trình duyệt có thể gây ra hình phạt thủ công cho hành vi cloaking. Vì vậy cần phải báo hiệu cho trình thu thập dữ liệu nguyên nhân bạn quyết định chọn giải pháp xử lý này thông qua cách áp dụng dữ liệu có cấu trúc đối với những page tính phí. 

Lưu ý: Hướng dẫn của Google có thể chỉ cho bạn dữ liệu có cấu trúc nào cần thêm vào các page đăng ký.

Tùy chọn 2: Đảm bảo 401 pages không lãng phí ngân sách thu thập dữ liệu

Đối với những page 401 không có trong danh sách chỉ mục của Google, bạn nên chặn thu thập dữ liệu các page đó bằng cách sử dụng thêm lệnh trong file robots.txt. File này chứa các lệnh cho phép trình thu thập thông tin biết được những page nào mình có thể truy cập trong website. 

Trong trường hợp này, lệnh Disallow thường được sử dụng nhằm mục đích kiểm soát tình trạng lãng phí ngân sách thu thập thông tin của Googlebot trên những page độc quyền, page không thể lập chỉ mục hay page mô phỏng.

Để Googlebot phát hiện các page 401 không muốn lập chỉ mục, bạn tiến hành:

Bước 1: Nhấp vào biểu tượng kính lúp để sử dụng URL Inspection Tool từ danh sách các page bị ảnh hưởng. 

Sử dụng công cụ URL Inspection từ cấc page bị ảnh hưởng
Sử dụng công cụ URL Inspection từ cấc page bị ảnh hưởng

Bước 2: Tìm hiểu các liên kết dẫn trình thu thập thông tin đến page 401 cụ thể dựa trên những thông tin được hiển thị trong URL Inspection tool.

Các liên kết dẫn trình thu thập thông tin đến page 401
Các liên kết dẫn trình thu thập thông tin đến page 401

Bước 3: Sử dụng trình thu thập thông tin SEO để chỉnh sửa các page đã đề cập ở trên cũng như loại bỏ các liên kết nếu chúng không còn cần thiết và có thể gây ra sự hỗn loạn trên website. 

Giải pháp dài hạn

Áp dụng 2 giải pháp trên, các page quan trọng trên website của bạn có thể được lập chỉ mục và cải thiện hiệu quả khả năng phân bổ ngân sách thu thập dữ liệu. Tuy nhiên, nếu trạng thái “Blocked due to unauthorized request (401)” trong Google Search Console hiển thị do lỗi trên server thì các giải pháp này không thể đảm bảo 100% các sự cố lập chỉ mục sẽ không quay trở lại trong tương lai. 

Tương tự các website khác hiện nay, domain có thể hưởng lợi từ việc thường xuyên đánh giá technical SEO. Bởi, việc làm này giúp loại bỏ các mối đe dọa lên khả năng hiển thị của website trên công cụ tìm kiếm trước khi xảy ra bất kỳ thiệt hại nào. 

Cùng tham khảo thêm một số bài viết liên quan về cách sửa lỗi trong GSC có thể bạn quan tâm:

Lời kết

Trên đây là những thông tin chia sẻ về nguyên nhân và cách khắc phục lỗi “Blocked due to unauthorized request (401)” trong Google Search Console. Hy vọng bài viết sẽ giúp bạn hiểu rõ hơn và giải quyết thành công những tình trạng lỗi khiến page không thể lập chỉ mục và hiển thị trên Google. 

Chia sẻ lên

Theo dõi trên

Logo Google new

Đánh giá

5/5 - (99 bình chọn)

Hoàng Vui

Kết nối với mình qua

Icon Quote
Icon Quote
Đăng ký nhận tin
Để không bỏ sót bất kỳ tin tức hoặc chương trình khuyến mãi từ Vietnix

Bình luận