Lỗi Kubernetes Node Not Ready là gì? 7 cách khắc phục lỗi chi tiết

Kubernetes Node Not Ready là lỗi cho thấy một node trong cụm Kubernetes không còn đủ điều kiện để nhận và chạy Pod mới, từ đó ảnh hưởng trực tiếp đến khả năng vận hành ứng dụng. Trong bài viết này, bạn sẽ nắm rõ nguyên nhân, ảnh hưởng và cách khắc phục khi xử lý sự cố liên quan đến Kubernetes Node Not Ready trong môi trường thực tế.​

Những điểm chính

• Khái niệm: Hiểu rõ lỗi Kubernetes Node Not Ready là trạng thái cho thấy node không thể nhận và chạy Pod, giúp nhận biết đây là sự cố ảnh hưởng trực tiếp đến khả năng vận hành của ứng dụng.
• Các trạng thái của node: Phân biệt các trạng thái của node trong Kubernetes, giúp theo dõi và đánh giá chính xác tình trạng hoạt động của cụm.
• Nguyên nhân: Nắm được các nguyên nhân chính như cạn kiệt tài nguyên, sự cố mạng hoặc lỗi kubelet, giúp khoanh vùng và xác định đúng nguồn gốc sự cố để xử lý hiệu quả.
• Tác động: Nhận biết các ảnh hưởng tiêu biểu như không thể lên lịch Pod mới và gián đoạn dịch vụ, giúp hiểu rõ mức độ nghiêm trọng và sự cần thiết phải khắc phục ngay.
• Cách khắc phục: Nắm vững các phương pháp xử lý chi tiết từ kiểm tra trạng thái node, phân tích log đến xử lý tài nguyên và khởi động lại dịch vụ, giúp chủ động khôi phục node về trạng thái Ready một cách có kiểm soát.
• Biết thêm Vietnix: Tìm hiểu về Enterprise Cloud của Vietnix, giúp có thêm lựa chọn hạ tầng IaaS hiệu năng cao cho doanh nghiệp.
• Câu hỏi thường gặp: Được giải đáp các thắc mắc phổ biến về lỗi Node Not Ready trong các môi trường cụ thể như K3s, GKE và các tình huống liên quan, giúp củng cố kiến thức và xử lý các vấn đề chuyên sâu

Lỗi Kubernetes Node Not Ready là gì?

Lỗi Kubernetes Node Not Ready là trạng thái cho thấy một node trong cụm Kubernetes không còn ở trạng thái Ready để nhận và chạy các Pod. Khi đó, bộ lập lịch Kubernetes sẽ không gán thêm Pod lên node này cho đến khi nó được khôi phục về trạng thái Ready, từ đó làm suy giảm mức độ sẵn sàng của ứng dụng trong cụm.​

Các trạng thái của node trong Kubernetes

Các trạng thái của node trong Kubernetes cho biết khả năng node đó có thể nhận và chạy Pod hay không, đồng thời giúp quản trị viên theo dõi và phân phối workload trong cụm một cách chính xác. Sau khi được join vào cluster, mỗi node sẽ nằm trong một trong các trạng thái dưới đây, phản ánh tình trạng hoạt động và khả năng tiếp nhận ứng dụng tại thời điểm hiện tại:

• Ready: Node đang hoạt động bình thường và có thể chạy Pod/ứng dụng mới.​
• Not Ready: Node gặp vấn đề nên không thể chạy Pod, không đủ điều kiện để lưu trữ workload.​
• Scheduling Disabled: Node vẫn hoạt động nhưng bị đánh dấu không cho phép lên lịch Pod mới (thường do quản trị viên cordon node để bảo trì hoặc xử lý sự cố).​
• Unknown: Node không thể liên lạc được từ control plane/node controller, thường do node mất kết nối mạng hoặc đã tắt/hỏng nên trạng thái thực tế không thể xác định.​

Nguyên nhân gây ra lỗi Kubernetes Node Not Ready

Nguyên nhân gây ra lỗi Kubernetes Node Not Ready thường bắt nguồn từ việc node không còn đáp ứng được các yêu cầu về tài nguyên, kết nối hoặc quy trình nội bộ cần thiết để duy trì trạng thái Ready trong cụm. Dưới đây là một số nhóm nguyên nhân điển hình mà quản trị viên cần kiểm tra khi node chuyển sang trạng thái Not Ready:

• Cạn kiệt tài nguyên: Node hết CPU, RAM hoặc dung lượng đĩa, dẫn đến các điều kiện như memory pressure hoặc disk pressure khiến node không thể tiếp tục lưu trữ và chạy Pod.​
• Sự cố mạng: Mất kết nối giữa node và control plane/API Server, lỗi DNS hoặc firewall chặn các cổng giao tiếp quan trọng khiến control plane không thể trao đổi dữ liệu ổn định với node.​
• Lỗi kubelet: Tiến trình kubelet trên node bị treo, bị hệ điều hành kill, crash hoặc cấu hình sai, làm node không thể báo cáo trạng thái và thông tin Pod về control plane.​
• Lỗi kube-proxy và thành phần mạng: kube-proxy bị dừng, lỗi hoặc cấu hình sai, hoặc các thành phần mạng khác gặp trục trặc khiến lưu lượng giữa node và cụm không được định tuyến đúng.​
• Sự cố phần cứng hoặc hệ điều hành: Lỗi máy chủ vật lý, lỗi đĩa, lỗi NIC hoặc hệ điều hành gặp vấn đề nghiêm trọng dẫn đến node ngừng hoạt động ổn định.​
• Cấu hình sai tổng thể: Cấu hình Kubernetes, cấu hình mạng hoặc bảo mật trên node và trong cụm không phù hợp, gây ra xung đột hoặc chặn giao tiếp, làm node bị đánh dấu Not Ready.

Ảnh hưởng của lỗi Kubernetes Node Not Ready

Ảnh hưởng của lỗi Kubernetes Node Not Ready chủ yếu liên quan đến khả năng phân phối workload và tính sẵn sàng của dịch vụ trong cụm. Khi một node chuyển sang trạng thái Not Ready, cả scheduler lẫn cơ chế xử lý Pod đều phải thay đổi hành vi để tránh sử dụng node này:

• Không thể lên lịch Pod mới: Bộ lập lịch Kubernetes sẽ ngừng gán Pod mới lên node ở trạng thái Not Ready, khiến các Pod mới tạo ra có thể bị giữ ở trạng thái Pending cho đến khi được chuyển sang node khác đủ điều kiện.​
• Gián đoạn hoặc di dời Pod đang chạy: Các Pod đang chạy trên node Not Ready có thể bị evict hoặc bị đánh dấu không còn trạng thái rõ ràng, làm gián đoạn dịch vụ, tăng độ trễ và có nguy cơ mất phiên cho người dùng nếu ứng dụng không được thiết kế chịu lỗi tốt.​

Cách khắc phục lỗi Kubernetes Node Not Ready thường bắt đầu từ việc xác định chính xác nguyên nhân, sau đó áp dụng từng bước kiểm tra node, log và cấu hình mạng/dịch vụ liên quan. Các cách xử lý dưới đây giúp thu hẹp phạm vi lỗi và khôi phục node về trạng thái Ready một cách có kiểm soát:

Kiểm tra và xác nhận trạng thái node

Bạn sử dụng lệnh kubectl get nodes để liệt kê toàn bộ node trong cụm và xác định node đang ở trạng thái Not Ready. Khi đã xác định node lỗi, dùng tiếp kubectl describe node để xem chi tiết Conditions và Events, từ đó nhận diện các cảnh báo như MemoryPressure, DiskPressure, NetworkUnavailable hoặc lỗi runtime/container.

Phân tích chi tiết node bằng describe và log

Bạn cần phân tích phần Conditions và Events trong kubectl describe node để xem thời điểm node chuyển sang NotReady, lỗi PLEG, container runtime hay các cảnh báo khác. Việc thu thập thêm thông tin bằng log kubelet với lệnh journalctl -u kubelet (trên Linux) để phát hiện lỗi tài nguyên, lỗi cấu hình hoặc sự cố tương tác giữa kubelet và control plane.

Kiểm tra và xử lý vấn đề tài nguyên hệ thống

Việc dùng kubectl top node hoặc các lệnh trên hệ điều hành như top, free -m, df -h để kiểm tra mức sử dụng CPU, RAM và dung lượng đĩa trên node. Nếu phát hiện tình trạng thiếu tài nguyên, bạn có thể giảm workload, tắt bớt tiến trình không liên quan đến Kubernetes, nâng cấp cấu hình phần cứng hoặc bổ sung thêm node cho cụm.

Kiểm tra cấu hình và kết nối mạng

Bạn cần kiểm tra khả năng kết nối từ node tới control plane/API Server bằng các lệnh như ping và traceroute để phát hiện vị trí nghẽn hoặc mất kết nối trên đường mạng. Việc xác minh các cấu hình mạng (DNS, firewall, route, IP) để đảm bảo không có chặn cổng quan trọng hoặc xung đột địa chỉ IP làm control plane không thể giao tiếp ổn định với node.

Kiểm tra và khởi động lại kubelet

Bạn truy cập vào node và kiểm tra trạng thái dịch vụ kubelet bằng systemctl status kubelet để xem kubelet đang chạy, dừng hay gặp lỗi. Nếu kubelet bị lỗi hoặc không hoạt động đúng, bạn có thể khởi động lại bằng sudo systemctl restart kubelet, sau đó tiếp tục theo dõi log (journalctl -u kubelet) để đánh giá lại khả năng node trở về trạng thái Ready.

Kiểm tra và khởi động lại kube-proxy

Bạn cần xem trạng thái kube-proxy bằng các lệnh như sudo systemctl status kube-proxy hoặc kiểm tra Pod kube-proxy trong namespace kube-system với kubectl get pods -n kube-system. Khi phát hiện kube-proxy lỗi hoặc dừng, bạn cần khởi động lại bằng sudo systemctl restart kube-proxy hoặc khắc phục Pod/DaemonSet tương ứng, sau đó kiểm tra lại khả năng kết nối và trạng thái node.

Thực hiện các kiểm tra hệ thống bổ sung và khởi động lại node

Bạn cần dùng các công cụ hệ thống như top, df, netstat để rà soát thêm tài nguyên, ổ đĩa và kết nối mạng nếu log và describe chưa cho thấy rõ nguyên nhân. Trong trường hợp đã xử lý các nguyên nhân khả dĩ nhưng node vẫn NotReady, bạn có thể thử khởi động lại toàn bộ node, sau đó tiếp tục giám sát lâu dài để phát hiện các vấn đề lặp lại như memory leak hoặc lỗi cấu hình sâu hơn.

Nâng tầm hạ tầng doanh nghiệp cùng Vietnix Enterprise Cloud

Enterprise Cloud tại Vietnix là giải pháp IaaS thế hệ mới, cung cấp một cụm tài nguyên riêng biệt (CPU, RAM, Storage) trên nền tảng phần cứng hiệu năng cao AMD EPYC và 100% ổ cứng NVMe, cho phép bạn toàn quyền khởi tạo, quản lý và mở rộng Cloud Server theo nhu cầu thực tế mà vẫn đảm bảo chi phí cố định, minh bạch, không phát sinh phí ẩn. Với giao diện quản trị trực quan, tích hợp API để tự động hóa (hỗ trợ Terraform, Ansible,…), cùng khả năng triển khai nhanh các môi trường Kubernetes, Enterprise Cloud giúp đội ngũ kỹ thuật rút ngắn thời gian vận hành, tối ưu hiệu suất hệ thống và tập trung nhiều hơn cho bài toán phát triển sản phẩm, thay vì phải loay hoay với hạ tầng.​

Thông tin liên hệ:

• Website: https://vietnix.vn/
• Hotline: 1800 1093
• Email: sales@vietnix.com.vn
• Địa chỉ: 265 Hồng Lạc, Phường Bảy Hiền, Thành Phố Hồ Chí Minh

Kubernetes Node Not Ready là một trong những lỗi quan trọng mà quản trị viên cần theo dõi sát sao, bởi nó ảnh hưởng trực tiếp đến khả năng phân phối workload và tính ổn định của hệ thống. Khi chủ động giám sát trạng thái node, xử lý kịp thời các vấn đề về tài nguyên, mạng và dịch vụ như kubelet, kube-proxy, bạn có thể giảm thiểu rủi ro downtime, đảm bảo cụm Kubernetes luôn duy trì trạng thái sẵn sàng để phục vụ ứng dụng và người dùng.