Blocked due to other 4xx trong Google Search Console là lỗi trang phản hồi bằng một trong các HTTP 4xx response code mà không phải là 401, 403 hay 404 (hoặc Soft 404). Điều này dẫn đến kết quả trang bị nhầm lẫn và không được Google lập chỉ mục. Để khắc phục trạng thái lỗi này, hãy cùng Vietnix tìm hiểu chi tiết qua bài viết dưới đây.
Nguyên nhân thường gặp của lỗi ‘blocked due to other 4xx’
Nếu bạn thấy thông báo ‘blocked due to other 4xx‘ hiển thị trong báo cáo Page index (Index Coverage), điều này có nghĩa rằng:
- Googlebot đã gửi yêu cầu đến server của bạn để truy xuất một trang cụ thể.
- Server phản hồi bằng một trong các status code HTTP 4xx do lỗi xảy ra ở phía trình duyệt hoặc phía công cụ tìm kiếm (client).
Mặc dù một số lỗi 4xx có thể khá hiếm gặp, nhưng bạn cần lưu ý, website càng lớn càng dễ mắc phải các vấn đề này.
Dưới đây là một số lỗi 4xx thường gặp làm website xuất hiện tình trạng ‘blocked due to other 4xx issue‘ trong Google Search Console:
Bad request (400)
400 HTTP response code phản ánh trường hợp server không thể phục vụ một trang cụ thể do yêu cầu bạn gửi không đúng.
Nguyên nhân dẫn đến 400 HTTP response code có thể liên quan đến cấu trúc URL không chính xác hoặc file tải lên vượt quá giới hạn của server.
Blocked due to unauthorized request (401)
‘Blocked due to unauthorized request (401)‘ là một trong những vấn đề 4xx được đề cập ở trạng thái riêng trong Google Search Console.
Nếu bạn thấy 401 HTTP response code cho trang của mình, điều này cho thấy request URL đã bị ẩn sau form đăng nhập.
Thông thường, bạn sẽ cố tình chặn những trang như vậy vì không muốn các bot và người dùng ngẫu nhiên xem được nội dung của mình trên website.
Blocked due to access f-orbidden (403)
Khi trang trả về 403 HTTP status code đồng nghĩa rằng server sẽ từ chối quyền truy cập vào URL khi nhận được yêu cầu từ trình duyệt hoặc công cụ tìm kiếm.
Mặc dù có một số trường hợp việc trang này từ chối truy cập có thể xem là điều hoàn toàn bình thường. Tuy nhiên, nếu thông báo ‘Blocked due to access forbidden (403)‘ không được kiểm soát có thể gây ra các vấn đề khác liên quan đến quá trình SEO trên website.
Đây cũng là một trường hợp mà Google dành một trạng thái riêng trong báo cáo Page index cho vấn đề liên quan đến 4xx status code.
Not found (404)
404 HTTP status code báo xuất hiện khi server không thể tìm thấy trang được yêu cầu vì trang đó không còn tồn tại trên website.
Trong một số trường hợp, thiết lập 404 status code có thể xuất phát từ việc tối ưu hóa nội dung đơn lẻ hoặc nội dung trùng lặp trên website.
Soft 404
Mặc dù Soft 404 không phải là HTTP response code chính thức, thế nhưng đây vẫn là một trong những lỗi phổ biến được Google Search Console phát hiện và được biểu thị bằng một trạng thái riêng trong báo cáo Page Index.
Gone (410)
410 HTTP status code là trạng thái cho biết một trang đã bị xóa vĩnh viễn khỏi website. Nhìn chung, trạng thái này là kết quả của các hành động có chủ đích.
Trường hợp bạn muốn trang trả về 410 status code, khi đó trang:
- Không còn nhu cầu tìm kiếm hoặc có giá trị kinh doanh cho website nên bạn muốn loại bỏ trang.
- Làm lãng phí ngân sách thu thập dữ liệu. Bằng cách này, việc thiết lập 410 status code sẽ thông báo cho Googlebot biết rằng không cần thu thập thêm dữ liệu và nên loại bỏ URL khỏi chỉ mục.
Mặc dù kết quả cho các URL này tương tự như các URL 404, nhưng hãy nhớ rằng 410 status code cung cấp thông tin cụ thể hơn cho Google về những gì đã xảy ra đối với các trang.
Như vậy, cách thiết lập 410 HTTP status code có thể loại bỏ nội dung không mong muốn khỏi trang kết quả của công cụ tìm kiếm SERP nhanh hơn lỗi 404 tiêu chuẩn.
Lưu ý: Vì lỗi 410 giống với lỗi 404 nên đôi khi bạn có thể thấy thông báo Gone (410) trong báo cáo trạng thái trang Not found (404).
Length Required (411)
Nếu bạn thấy một trang hiển thị trạng thái 411 HTTP response code, điều này cho biết trình duyệt của bạn có thể chưa xác định tiêu đề có độ dài nội dung.
Xét từ góc độ của server, tiêu đề ‘content-length‘ rất quan trọng để đánh giá kích thước yêu cầu của bạn.
Để khắc phục sự cố này, bạn nên liên hệ với đội dev của mình để thiết lập tiêu đề thích hợp.
Too many requests (429)
‘Too many requests (429)‘ khác với các trạng thái 4xx khác đã đề cập ở trên, vì trạng thái này được Google xem như lỗi server.
Nguyên nhân là do khi server phản hồi bằng 429 HTTP response code, điều này có nghĩa là đã nhận được quá nhiều yêu cầu trong một khoảng thời gian nhất định, chẳng hạn như từ các trình thu thập dữ liệu của công cụ tìm kiếm.
Tuy nhiên, theo góc độ của Google, các bot tìm kiếm thân thiện như Googlebot không thể góp phần làm server bị quá tải vì chúng giới hạn số lượng yêu cầu gửi khi server đang trở nên chậm chạp. Do đó, Google coi tình huống này là do sự cố đến từ server của bạn.
Thế nhưng, có điều cần nhớ là vẫn có các trình thu thập dữ liệu và bot từ các công cụ tìm kiếm khác đang gửi yêu cầu đến server của bạn, điều này làm ảnh hưởng đến khả năng xử lý của Googlebot.
Nếu bạn gặp tình huống ‘Too many requests (429)‘, hãy thử xóa bộ nhớ cache của trình duyệt hoặc cân nhắc đến việc liên hệ với nhà cung cấp hosting.
Để xây dựng và phát triển website ổn định, hiệu suất tốt cho việc tối ưu SEO, bạn có thể xem xét sử dụng dịch vụ hosting của Vietnix. Vietnix cung cấp các gói hosting tốc độ cao giúp website load nhanh dưới 1 giây. Hơn nữa, tất cả các gói hosting đều được tích hợp công nghệ chống tấn công DDoS độc quyền, giúp bảo vệ website khỏi các cuộc tấn công và đảm bảo hoạt động ổn định.
Mua hosting từ Vietnix còn đi kèm với một ưu đãi đặc biệt, đó là việc bạn sẽ được tặng kèm một bộ theme và plugin WordPress bản quyền trị giá đến 26.000.000 VND. Bộ quà tặng này giúp bạn dễ dàng xây dựng một website chuyên nghiệp mà không cần phải đầu tư quá nhiều. Bạn có thể tận dụng các công cụ này để cải thiện trải nghiệm của người dùng và nâng cao thứ hạng website trên các công cụ tìm kiếm (máy tìm kiếm).
Cách khắc phục lỗi ‘Blocked due to other 4xx issue’
Trạng thái ‘Blocked due to other 4xx issue‘ xuất hiện là kết của lỗi phát sinh từ phía client, do đó có thể xảy ra tình huống bạn không thể tái tạo một sự cố nhất định trong trình duyệt của mình.
Dưới đây là quy trình hướng dẫn chi tiết mà bạn có thể tham khảo để khắc phục tình trạng ‘Blocked due to other 4xx issue‘
Phân tích danh sách các trang bị ảnh hưởng trong Google Search Console
Đầu tiên, truy cập vào báo cáo Page Index (Index Coverage) và di chuyển đến trang trạng thái để phân tích các URL ‘Blocked due to other 4xx issue‘.
- Kiểm tra xem có bao nhiêu trang bị ảnh hưởng để đánh giá mức độ nghiêm trọng của vấn đề.
- Tìm kiếm bất kỳ mẫu nào trong cấu trúc URL của các trang. Hãy cố gắng xem các URL bị ảnh hưởng có thuộc cùng một danh mục nào không. Khi đó, khả năng cao là chúng dựa trên cùng một mẫu, điều này có thể giúp việc phân tích và khắc phục vấn đề trở nên dễ dàng hơn.
Sau đó, khi bạn vào trang trạng thái, hãy nhấp vào biểu tượng kim tự tháp ngược để lọc các URL cho đường dẫn cụ thể mà bạn muốn phân tích.
Tiếp theo, sử dụng công cụ URL Inspection để nghiên cứu thêm các trang bị ảnh hưởng.
URL Inspection là công cụ có thể giúp bạn chuẩn đoán tần suất Google thu thập dữ liệu một trang hoặc cách mà Google phát hiện ra trang đó.
Tuy nhiên, với trường hợp blocked due to other 4xx issue trong Google Search Console thì Google không thể xác định trang giới thiệu hoặc sitemap. Do đó, việc xác định nguồn gốc vấn đề lúc này có thể khó khăn.
Trong trường hợp này, bạn nên tham khảo ý kiến của các developer đối với các vấn đề liên quan đến các trang ‘blocked due to other 4xx issue‘. Bởi vì họ có kiến thức về lịch sử và cấu trúc file của website. Điều này có thể giúp xác định được những nguyên nhân gây ra tình trạng trên.
Kiểm tra Submitted URL Blocked due to other 4xx issue
Trước đây, tình trạng ‘Submitted URL Blocked due to other 4xx issue‘ được biết đến là trạng thái riêng biệt của Google Search Console.
Mặc dù sau này đã có sự thay đổi trong cách báo cáo, thế nhưng điều không đổi trong quá trình phân tích sự cố của website trong Google Search Console là việc theo dõi xem có bất kỳ URL nào bị ảnh hưởng được thêm vào XML sitemap hay không.
Giờ đây, bạn có thể lọc tất cả các URL bị ảnh hưởng thành ‘All submitted URLs‘ ở góc trên bên trái của báo cáo để tìm kiếm các URL đã được thêm vào sitemaps hay chưa.
Trong tình huống hoàn hảo, file sitemap của bạn chỉ nên bao gồm các trang phản hồi với 200 status code. Nếu không, bạn cần ưu tiên loại bỏ các trang bị ảnh hưởng.
Ngay cả khi bạn có ý định làm cho một số trang của mình phản hồi ở trạng thái ‘blocked due to other 4xx issue‘, chẳng hạn như ‘Gone (410)‘, bạn cần nhớ rằng việc thêm các trang này vào sitemap có thể làm lãng phí ngân sách thu thập dữ liệu của bạn.
Ngoài ra, nếu bạn đang quản lý một website lớn, ngoài việc kiểm tra danh sách trong GSC, cũng cần thực hiện thu thập đầy đủ dữ liệu sitemap.
Lưu ý: Báo cáo Page index chỉ hiển thị mẫu gồm 1000 trang nên sẽ chỉ có thể cung cấp cho bạn thông tin chi tiết về những gì đang diễn ra với các trang đã gửi.
Phân tích internal link
Bước tiếp theo cần thực hiện là theo dõi các internal link ưu tiên chuyển hướng đến các trang ‘blocked due to other 4xx issue‘.
Theo tài liệu chính thức của Google, ‘Pages that serve 4xx HTTP status codes (except 429) don’t waste crawl budget‘ (Các trang cung cấp 4xx HTTP status codes, ngoại trừ 429 không lãng phí ngân sách thu thập dữ liệu), nhiều internal link trỏ đến các trang 4xx thực sự có thể ảnh hưởng đến cách Google thu thập dữ liệu website.
Bởi vì khi bạn liên kết chuyên sâu đến các trang mà mình có thể không quan tâm, Googlebot sẽ đánh giá rằng những trang đó thực sự quan trọng với bạn. Điều này dẫn đến việc bot tìm kiếm sử dụng hết tài nguyên của chúng để truy cập vào nội dung mà chúng không thể xem hay truy cập được.
Việc kiểm tra internal link đến các trang 4xx đóng vai trò rất quan trọng, đặc biệt là khi bạn chắc chắn rằng một trong số chúng, chẳng hạn như ‘Gone (410)‘ sẽ tồn tại vĩnh viễn trên website của mình.
Nếu không thể theo dõi các trang giới thiệu trong công cụ URL Inspection, bạn nên tiến hành thu thập đầy đủ thông tin về website thông qua các trình thu thập thông tin SEO như Screaming Frog hay Deepcrawl.
Để khắc phục lỗi internal link không chính xác, bạn có thể:
- Loại bỏ các liên kết hỏng dẫn đến các trang 4xx (thường là những trang 404 hoặc 400).
- Thay thế các liên kết từ các trang 4xx bằng các liên kết có liên quan trả về 200 status code.
Sau khi đã tận dụng hết các tính năng có trong Google Search Console và quyết định các bước tiếp theo để giải quyết vấn đề ‘blocked due to other 4xx issue‘ trên website. Lúc này, bạn cần đánh giá quy mô của vấn đề và cách giải quyết giải quyết ‘blocked due to other 4xx issue‘ áp dụng cho các ưu tiên SEO khẩn cấp của website.
Bạn có thể xem xét 2 giải pháp sau:
1. Bỏ qua ‘Blocked due to other 4xx issue‘ khi:
- Chỉ có một số vấn đề ảnh hưởng không đáng kể đến website và không cần phải quan tâm hay xử lý ngay lập tức.
- Nguyên nhân gây ra là do hành động có chủ đích của bạn, chẳng hạn như thiết lập 410 HTTP status code.
2. Phân tích chuyên sâu về các trang ‘blocked due to other 4xx issue‘ khi:
- Số lượng trang bị ảnh hưởng tăng lên đáng kể hoặc không ngừng gia tăng; và
- Bạn không biết cách tiếp cận các vấn đề và giải quyết các lỗi ‘blocked due to other 4xx issue‘ trên website hoặc không biết rõ về những vấn đề SEO mà chúng có thể gây ra.
Xác định response code kích hoạt Blocked due to other 4xx issue
Khi bạn quyết định các trang ‘Blocked due to other 4xx issue‘ của mình cần thực hiện các biện pháp để khắc phục vấn đề này, bạn nên kiểm tra xem chúng đang trả về response codes nào.
Đây không phải là thông tin có thể tìm thấy trong Google Search Console. Để kiểm tra response code chuyên sâu hơn, bạn cần sử dụng công cụ Chrome DevTools.
Bạn có thể sử dụng trình duyệt để mô phỏng trình duyệt với User Agent của Googlebot và kiểm tra status code mà đang được trả về thông qua một trang cụ thể.
Để thực hiện điều này, hãy di chuyển đến ‘Network‘ và mở tab ‘Network conditions‘ ở cuối bảng điều khiển.
Sau đó, để mô phỏng User Agent của Googlebot, nhấp vào tùy chọn ‘User browser default‘ trong phần User-agent và chọn ‘Googlebot Smartphone‘ từ danh sách thả xuống.
Trong bảng điều khiển chính ở phía trên, bạn sẽ thấy status codes mà các file cụ thể và tài nguyên được sử dụng trên trang của bạn đang trả về.
Một giải pháp đơn giản khác là sử dụng công cụ Link Redirect Trace. Tiện ích mở rộng của Google Chrome này cho phép bạn theo dõi HTTP statuses của các trang khi duyệt bất kỳ website nào trong thời gian thực.
Một tùy chọn khác là kiểm tra các nhật ký server để xác định các HTTP status code chính xác mà website đang trả về cho sự cố ‘blocked due to other 4xx issue‘.
Khi bạn biết response code chính xác cho trạng thái ‘blocked due to other 4xx issue‘, có thể xác định rõ các hành động tiếp theo cần thực hiện để khắc phục vấn đề.
Ví dụ: Những hành động này có thể liên quan đến việc xác định các lỗi chính tả trong các URL của bạn để khắc phục lỗi ‘Bad request (400)‘ hoặc làm việc trên file .htaccess của bạn trong trường hợp ‘Blocked due to access forbidden (403)‘.
Chuyển hướng các trang bị ảnh hưởng
Nếu bạn không thể khắc phục sự cố website đang gặp phải, cách tốt nhất là sử dụng 301 redirect để chuyển hướng trang.
Đây cũng là giải pháp hợp lệ, đặc biệt khi URL bị ảnh hưởng. Là một phần quan trọng trong cấu trúc website, có giá trị cho doanh nghiệp và có nhiều backlink trỏ đến.
Lưu ý: Đôi khi, dữ liệu liên quan đến trình trạng blocked due to other 4xx issue trong Google Search Console có thể không chính xác và được cập nhật.
Ví dụ: Nếu bạn đã chuyển hướng một trang cụ thể, Google có thể không nhận ra ngay sự thay đổi này một vì Googlebot không thường xuyên thu thập hoặc cập nhật dữ liệu của những trang này.
Vì vậy, hãy luôn kiểm tra kỹ HTTP response codes hiện tại đối với các URL bị ảnh hưởng trước khi thực hiện hành động.
Thiết lập 4xx status khác
Nếu trang ‘blocked due to other 4xx issue‘ không còn phù hợp với chiến lược website, hoặc khi bạn không thể khắc phục lỗi 4xx cụ thể thì hãy cân nhắc đến việc thay đổi trạng thái của trang thành 404 hoặc 410.
Khi bạn thông báo cho Googlebot biết một trang sẽ không tồn tại thì sau một thời gian, bot sẽ giới hạn quá trình thu thập dữ liệu ở mức tối thiểu vì hiểu rằng không có nội dung nào được tìm thấy.
Ngoài ra, việc hiển thị một trang 404 với thông tin lỗi thay vì một trang trống có thể cung cấp thông tin hữu ích cho người dùng và cải thiện trải nghiệm của họ trên website.
Nhìn chung, tình trạng ‘Blocked due to other 4xx issue‘ thường không gây ảnh hưởng nghiêm trọng đến quá trình SEO khi chúng chỉ là những trường hợp xác định và ngẫu nhiên. Tuy nhiên, ở quy mô lớn và không có đủ kinh nghiệm, những sự cố lỗi này có thể dẫn đến các vấn đề nghiêm trọng hơn đối với website và sự hiện diện trên các kết quả tìm kiếm.
Lưu ý: Khi quản lý một website lớn, bạn phải cân nhắc cẩn thận về các ưu tiên trong quá trình tối ưu hóa website của mình.
Để khắc phục lỗi ‘blocked due to other 4xx issue‘ một cách hiệu quả và hạn chế tình trạng hỗn loạn không kiểm soát, bạn cần phải cải thiện chiến lược technical SEO trên website.
Xem thêm: 50 lỗi WordPress phổ biến nhất 2023
Vì sao cần lưu ý đến lỗi Blocked due to other 4xx issue
Đa số các trang ‘Blocked due to other 4xx issue‘ (ngoại trừ trường hợp Too many requests (429)) được Google hiểu rằng không thể hiển thị, vì vậy Googlebot cho rằng nội dung mà người dùng yêu cầu không tồn tại trên website.
Nếu không khắc phục tình trạng ‘Blocked due to other 4xx issue‘, bạn có thể hạn chế khả năng website được lập chỉ mục và xếp hạng nội dung có giá trị.
Ngoài ra, bạn cũng nên thường xuyên theo dõi website để đảm bảo không có lỗi nghiêm trọng nào bị bỏ sót.
Tuy nhiên, nếu xảy ra xảy ra trường hợp website trả về 200 status code, Google vẫn gán cho trang trạng thái ‘blocked due to other 4xx issue‘.
Tóm lại, hiểu về website là điều quan trọng để đảm bảo thông tin được thu thập từ các công cụ khác nhau có thể hiển thị chính xác.
Kết luận
Trên đây là những chia sẻ về trạng thái ‘blocked due to other 4xx issue‘ trong Google Search Console – một trong những tình trạng lỗi khá hiếm gặp khiến Google không thể lập chỉ mục cho trang. Hy vọng bài viết sẽ giúp bạn trang bị thêm nhiều kiến thức hữu ích về Google Search Console, từ đó, có thể cải thiện và nâng cao hiệu quả SEO trên website.
