Kubernetes Node Disk Pressure: Nguyên nhân và cách khắc phục hiệu quả

Kubernetes Node Disk Pressure là trạng thái xảy ra khi dung lượng đĩa hoặc số lượng inode trên một node đang ở mức thấp, khiến kubelet gắn condition DiskPressure=true cho node đó. Trong bài viết này, mình sẽ giúp bạn hiểu rõ hơn về các loại pressure thường gặp trên node, nguyên nhân gây lỗi phổ biến và cách xử lý lỗi hiệu quả.

Những điểm chính

• Khái niệm: Hiểu rõ Node Disk Pressure là trạng thái cảnh báo khi node sắp cạn dung lượng đĩa, giúp bạn nhanh chóng nhận biết nguyên nhân gốc rễ khiến Pod không được lên lịch và có nguy cơ bị xóa.
• Các loại pressure phổ biến: Phân biệt rõ các loại pressure khác nhau như Disk, Memory và PID, giúp bạn chẩn đoán chính xác hơn các vấn đề về tài nguyên trên node.
• Mức độ nguy hiểm: Nhận thức được hậu quả nghiêm trọng như gây gián đoạn ứng dụng, đình trệ lịch trình triển khai Pod mới, làm treo node hoặc suy giảm hiệu suất toàn cụm.
• Nguyên nhân gây lỗi: Nắm vững các nguyên nhân phổ biến từ việc ghi log không kiểm soát đến cấu hình sai, giúp bạn có một danh sách kiểm tra hiệu quả để khoanh vùng và chẩn đoán sự cố.
• Phương pháp phát hiện: Biết được cách dùng lệnh kubectl kết hợp kiểm tra trực tiếp bằng df -h và du -sh để khoanh vùng chính xác nguyên nhân gây đầy ổ cứng.
• Cách khắc phục: Nắm vững các thao tác xử lý khẩn cấp như xóa log cũ, dọn dẹp Container Image thừa, gỡ bỏ Pod không thiết yếu và tăng cường dung lượng ổ cứng vật lý.
• Chiến lược phòng ngừa: Áp dụng các biện pháp dài hạn như cấu hình Log Rotation, đẩy dữ liệu ra lưu trữ ngoài, khai báo chuẩn xác limits.ephemeral-storage và thiết lập hệ thống tự động dọn dẹp, giám sát liên tục.
• Giới thiệu Vietnix: Biết thêm Vietnix là nhà cung cấp Cloud Server mạnh mẽ, giúp bạn có một nền tảng hạ tầng đáng tin cậy để phòng tránh các lỗi Node Disk Pressure.
• Câu hỏi thường gặp: Giải đáp các thắc mắc liên quan đến Kubernetes Node Disk Pressure.

Kubernetes Node Disk Pressure là gì?

Kubernetes Node Disk Pressure là trạng thái dung lượng đĩa khả dụng bắt đầu cạn kiệt hoặc inode trên node đang thấp, khiến kubelet gắn condition DiskPressure=true cho node. Khi condition này xuất hiện, scheduler sẽ hạn chế hoặc ngừng đặt thêm Pod mới lên node đó để tránh làm trầm trọng thêm tình trạng thiếu tài nguyên lưu trữ. Nếu DiskPressure kéo dài, cơ chế node-pressure eviction có thể chủ động loại bỏ các Pod ưu tiên thấp hoặc không quan trọng nhằm giải phóng không gian đĩa và duy trì khả năng hoạt động của node.

Disk Pressure thường chỉ xảy ra cục bộ trên từng node riêng lẻ. Một node có thể bị cạn ổ cứng trong khi các node khác trong cụm vẫn hoạt động bình thường.

Trên node Kubernetes, pressure được biểu diễn thông qua các node condition, phản ánh tình trạng tài nguyên như đĩa, bộ nhớ hay PID đang tiến gần hoặc vượt ngưỡng cho phép

Disk Pressure

Disk Pressure xuất hiện khi dung lượng đĩa trống hoặc inode trên node giảm xuống dưới ngưỡng cấu hình, thường do log ứng dụng, image, file tạm hoặc dữ liệu được ghi trực tiếp lên local storage vượt quá dự kiến. Khi kubelet phát hiện tình trạng này, node sẽ được gắn condition DiskPressure=true, scheduler hạn chế đặt thêm Pod mới lên node và cơ chế eviction có thể loại bỏ các Pod ưu tiên thấp để giải phóng không gian lưu trữ. Nếu không xử lý kịp thời, Disk Pressure có thể dẫn đến tình trạng Pod liên tục bị evict và mất ổn định dịch vụ trên node đó.

Memory Pressure

Memory Pressure xảy ra khi lượng bộ nhớ khả dụng trên node xuống thấp, thường do tổng nhu cầu bộ nhớ của các Pod vượt quá khả năng cung cấp hoặc cấu hình request/limit không phù hợp. Trong tình huống này, kubelet sẽ gắn condition MemoryPressure=true và có thể kích hoạt cơ chế node-pressure eviction hoặc để hệ điều hành thực hiện OOM Killer, ưu tiên giữ lại các Pod quan trọng hơn. Hiện tượng này gây ảnh hưởng trực tiếp đến độ ổn định của ứng dụng vì container có thể bị dừng đột ngột khi hết bộ nhớ.

PID Pressure

PID Pressure liên quan đến việc sử dụng quá nhiều process ID trên node, khiến số PID khả dụng tiến tới hoặc vượt ngưỡng cấu hình. Khi số lượng process mà Pod và daemon trên node tạo ra quá lớn, kubelet có thể đánh dấu condition PIDPressure=true để tránh việc node không còn khả năng sinh thêm tiến trình mới. Hệ quả là các workload cần khởi tạo thêm process có thể gặp lỗi hoặc không thể khởi động, ảnh hưởng tới hoạt động bình thường của ứng dụng.

Tại sao lỗi Disk Pressure lại nguy hiểm?

Node Disk Pressure không chỉ là một cảnh báo về dung lượng đĩa mà còn là tín hiệu trực tiếp liên quan đến tính sẵn sàng và ổn định của workload trên toàn cụm Kubernetes.

• Gây gián đoạn ứng dụng: Quá trình Kubernetes gỡ bỏ và khởi động lại Pod trên một node mới sẽ mất một khoảng thời gian nhất định, dẫn đến việc ứng dụng bị gián đoạn tạm thời.
• Hệ thống không thể lập lịch cho Pod mới: Lịch trình triển khai ứng dụng sẽ bị đình trệ nếu Kubernetes không tìm thấy Node nào khác có đủ tài nguyên CPU, RAM và dung lượng đĩa để chứa các Pod bị trục xuất.
• Node bị treo hoặc sập: Hệ điều hành Linux trên node cần một lượng ổ cứng trống nhất định để ghi log hệ thống và khởi tạo tiến trình mới. Nếu ổ cứng bị đầy hoàn toàn, hệ điều hành có thể hoạt động rất chậm hoặc sập hoàn toàn.
• Suy giảm hiệu suất toàn cụm: Nếu nhiều node cùng bị Disk Pressure, Kubernetes sẽ không tìm được node thay thế để chạy Pod. Các thành phần lõi của Kubernetes cũng có thể bị lỗi, làm sập toàn bộ hệ thống.

Tích tụ file log của ứng dụng

Một trong các nguyên nhân chính dẫn tới Node Disk Pressure là ứng dụng ghi log và dữ liệu trực tiếp vào filesystem cục bộ trên node mà không có cơ chế xoay vòng (log rotation) hoặc dọn dẹp định kỳ. Khi log file, temporary file hoặc dữ liệu cache tăng dần theo thời gian, dung lượng trống trên đĩa giảm xuống dưới ngưỡng kubelet cấu hình, khiến condition DiskPressure được kích hoạt. Việc thiếu phân tách giữa dữ liệu tạm, log và dữ liệu lâu dài trên các lớp lưu trữ khác nhau cũng làm cho node nhanh chóng đầy đĩa hơn dự kiến.

Một node gánh quá nhiều Pod

Khi một node được schedule quá nhiều Pod, mỗi Pod đều tiêu thụ dung lượng cho image, writable layer, log và dữ liệu tạm, tổng mức sử dụng đĩa có thể vượt quá khả năng lưu trữ vật lý của node. Tình huống này thường xảy ra khi cấu hình pod density (mật độ Pod trên node) không tính đến giới hạn lưu trữ mà chỉ tập trung vào CPU, memory. Ngoài ra, việc không thiết lập hạn mức lưu trữ cho từng Pod hoặc workload khiến một số Pod chiếm dụng đĩa lớn hơn dự kiến, đẩy node vào trạng thái DiskPressure.

Cấu hình sai giới hạn tài nguyên và yêu cầu lưu trữ

Node Disk Pressure cũng xuất hiện khi Pod được cấu hình sai về resource limits hoặc storage requests, dẫn đến việc sử dụng đĩa vượt ngoài kế hoạch. Nếu không khai báo hoặc đặt quá thấp các request/limits cho storage, scheduler có thể đặt nhiều Pod lên cùng node mà không đảm bảo đủ dung lượng đĩa thực tế cho chúng. Bên cạnh đó, việc dùng local storage cho workload cần dung lượng lớn (database, batch processing…) mà không cấu hình persistent volume hoặc external storage phù hợp cũng khiến node nhanh chóng đầy đĩa.

Thay đổi cấu hình node

Các thay đổi ở lớp hạ tầng như thu nhỏ dung lượng đĩa, thay đổi partition, cấu hình lại filesystem hoặc di chuyển node sang loại máy có storage thấp hơn cũng là nguyên nhân tiềm ẩn gây DiskPressure. Trong trường hợp này, workload giữ nguyên nhưng dung lượng đĩa khả dụng cho node giảm, khiến tỉ lệ sử dụng đĩa tăng nhanh và vượt ngưỡng cảnh báo của kubelet. Nếu không điều chỉnh lại mật độ Pod hoặc chiến lược lưu trữ tương ứng với cấu hình mới, node rất dễ bước vào trạng thái DiskPressure ngay cả khi workload không tăng.

Dữ liệu rác từ các Container Image

Trong quá trình vận hành liên tục của Kubernetes, hệ thống thường xuyên phải tải về (pull) các phiên bản Container Image mới nhất để triển khai và cập nhật ứng dụng. Tuy nhiên, nếu hệ thống không được định cấu hình cơ chế tự động dọn dẹp chuẩn xác, các phiên bản Image cũ, các layer thừa hoặc các container đã ngừng hoạt động vẫn sẽ nằm lại trên ổ đĩa của Node. Theo thời gian, lượng dữ liệu rác tích tụ từ các thành phần này sẽ phình to và chiếm một phần không gian lưu trữ khổng lồ.

Trong Kubernetes, việc phát hiện sớm Node Disk Pressure giúp chủ động xử lý trước khi kubelet kích hoạt cơ chế eviction và làm gián đoạn workload. Có thể kết hợp quan sát node condition qua kubectl với việc kiểm tra trực tiếp dung lượng đĩa trên node để đánh giá chính xác tình trạng lưu trữ.

Kiểm tra Node DiskPressure bằng kubectl

Cách đơn giản nhất để phát hiện DiskPressure là sử dụng kubectl get nodes hoặc kubectl describe node để xem phần Conditions. Nếu một node hiển thị condition DiskPressure=True, node đó đang trong trạng thái DiskPressure, có nguy cơ bị hạn chế đặt Pod mới và kích hoạt node-pressure eviction.

kubectl get nodes

kubectl describe node <ten-node>

Ngoài ra bạn có thể chạy lệnh kubectl top nodes để quan sát nhanh mức sử dụng tài nguyên tổng thể, từ đó khoanh vùng các node có xu hướng tiến gần ngưỡng DiskPressure.

kubectl top nodes

Kiểm tra trực tiếp dung lượng đĩa trên node

Bên cạnh node condition, bạn cần đăng nhập vào node để kiểm tra chi tiết dung lượng và mức sử dụng từng volume. Lệnh df -h cho biết dung lượng tổng, dung lượng đã dùng và phần trăm sử dụng của các filesystem, giúp xác định partition nào đang gần đầy và có thể liên quan đến DiskPressure. Từ đó, có thể tiếp tục đi sâu phân tích các thư mục như thư mục lưu container image, log hoặc dữ liệu ứng dụng để tìm nguồn gốc tiêu thụ đĩa bất thường.

ssh <node>
df -h

Kiểm tra các thành phần khác sử dụng đĩa

Bên cạnh Pod, node còn tiêu thụ đĩa cho container image, log hệ thống, file tạm và các dữ liệu khác của runtime. Cần dùng các lệnh như du -sh trên các thư mục của container runtime (ví dụ /var/lib/containerd, /var/lib/docker), thư mục log (như /var/log) để xác định khu vực chiếm dụng dung lượng lớn. Việc phân tích này cho phép nhận diện các image không còn sử dụng, log cũ, file tạm hoặc dữ liệu rác mà có thể xóa an toàn để giảm DiskPressure.

Xóa các file log không cần thiết

Khi hệ thống phải đối mặt với sự cố đĩa đầy khẩn cấp, bạn cần truy cập trực tiếp vào Node và tiến hành xóa bỏ các file nhật ký (log) đã cũ hoặc không còn giá trị sử dụng. Bạn có thể chủ động tìm kiếm các tệp tin có kích thước lớn bất thường trong phân vùng /var/log và loại bỏ chúng ngay lập tức. Việc giải phóng không gian tức thời này sẽ giúp Node thoát khỏi trạng thái Disk Pressure một cách nhanh chóng, tạo điều kiện thuận lợi cho các tiến trình cốt lõi hoạt động ổn định trở lại.

Dọn dẹp các Container Image dư thừa

Tiếp theo, bạn cần phải loại bỏ ngay các Container Image và các container đã ngừng hoạt động đang tồn đọng. Bằng cách sử dụng các công cụ quản lý container runtime tương ứng (chẳng hạn như chạy lệnh crictl rmi –prune đối với hệ thống containerd, hoặc lệnh docker system prune nếu dùng Docker), hệ thống sẽ tự động quét và dọn sạch dữ liệu rác. Phương pháp này giúp hệ thống lấy lại hàng chục Gigabyte dung lượng mà không làm ảnh hưởng đến dịch vụ.

Xóa bỏ các Pod không thiết yếu

Trong những trường hợp khẩn cấp khi hệ thống Kubernetes không thể tự động giải phóng được dung lượng, quản trị viên có quyền can thiệp thủ công bằng cách xóa bỏ các Pod không mang tính thiết yếu đối với nghiệp vụ của doanh nghiệp. Bạn có thể gõ lệnh kubectl delete pod để buộc hệ thống phải tiêu diệt Pod đó và khởi tạo lại trên một Node khác có không gian trống dồi dào hơn.

Bổ sung dung lượng ổ đĩa

Nếu dung lượng đĩa của Node liên tục bị cạn kiệt do nhu cầu sử dụng thực tế của ứng dụng tăng cao, biện pháp khắc phục mang tính triệt để nhất chính là tăng cường tài nguyên vật lý. Bạn có thể thực hiện việc mở rộng kích thước ổ cứng trực tiếp cho Node hiện tại (phương pháp Scale Up), hoặc thêm các Node máy chủ hoàn toàn mới vào cụm Kubernetes (phương pháp Scale Out) để chia sẻ bớt gánh nặng. Sau khi ổ cứng được nâng cấp thành công, Kubernetes sẽ tự động nhận diện dung lượng mới.

Thiết lập chính sách Log Rotation

Để ngăn chặn hoàn toàn tình trạng các file log phình to một cách không kiểm soát theo thời gian, quản trị viên bắt buộc phải cấu hình chính sách Log Rotation cho hệ điều hành và các ứng dụng. Bạn cần chủ động thiết lập các thông số giới hạn kích thước tối đa cho mỗi tệp log và quy định rõ số lượng tệp log cũ được phép giữ lại. Khi một tệp dữ liệu đạt đến giới hạn đã cấu hình, hệ thống sẽ tự động nén, sao lưu và xóa bỏ các tệp quá hạn để duy trì không gian trống.

Sử dụng hệ thống lưu trữ bên ngoài

Thay vì lưu trữ toàn bộ dữ liệu ứng dụng trực tiếp trên ổ đĩa vật lý cục bộ của Node, bạn nên thiết kế ứng dụng theo hướng đẩy dữ liệu ra các hệ thống lưu trữ bên ngoài. Cụ thể, kiến trúc hệ thống nên chuyển tiếp file log đến các nền tảng quản lý tập trung (như ElasticSearch, Splunk), đồng thời lưu trữ file phương tiện trên các dịch vụ đám mây chuyên dụng (như Amazon S3). Phương pháp này giúp tách biệt hoàn toàn dữ liệu sinh ra khỏi tài nguyên của Node.

Cấu hình giới hạn tài nguyên chuẩn xác

Việc khai báo các thông số giới hạn tài nguyên lưu trữ là một tiêu chuẩn kỹ thuật bắt buộc khi triển khai ứng dụng trên môi trường Kubernetes chuyên nghiệp. Bạn cần định nghĩa rõ ràng các thông số requests.ephemeral-storage và limits.ephemeral-storage ngay trong file cấu hình YAML của mỗi Pod. Khi những ranh giới an toàn này được thiết lập, Kubernetes sẽ giám sát chặt chẽ và tự động tiêu diệt những Pod nào cố tình sử dụng vượt quá mức dung lượng đĩa cho phép.

Triển khai hệ thống tự động dọn dẹp

Để duy trì một môi trường vận hành luôn sạch sẽ mà không đòi hỏi sự can thiệp thủ công liên tục từ con người, bạn nên tự động hóa toàn bộ quá trình bảo trì hệ thống. Bạn có thể triển khai một Kubernetes CronJob hoặc chạy một DaemonSet để thực thi các đoạn mã script dọn dẹp theo chu kỳ định kỳ. Các tác vụ tự động này sẽ chạy ngầm trên tất cả các Node để quét dọn bộ nhớ tạm, loại bỏ các file rác và xóa bỏ các Container Image mồ côi một cách vô cùng hiệu quả.

Xây dựng hệ thống giám sát liên tục

Các doanh nghiệp, tổ chức cần tích hợp các công cụ giám sát hiệu suất mạnh mẽ (như nền tảng Prometheus và giao diện Grafana) vào sâu bên trong cụm Kubernetes của mình. Đồng thời, đội ngũ kỹ thuật phải thiết lập các hệ thống cảnh báo chủ động để gửi thông báo ngay lập tức cho con người khi dung lượng ổ đĩa của bất kỳ Node nào chạm đến ngưỡng nguy hiểm.

Vietnix – Nền tảng Enterprise Cloud mạnh mẽ, giúp phòng tránh Node Disk Pressure

Để giảm thiểu nguy cơ gặp phải các lỗi Node Disk Pressure và đảm bảo các cụm Kubernetes của bạn luôn hoạt động ổn định, một hạ tầng đám mây với hiệu năng cao và các giải pháp lưu trữ linh hoạt là yếu tố không thể thiếu. Vietnix cung cấp dịch vụ Enterprise Cloud Server hiệu suất vượt trội, lý tưởng để bạn xây dựng và vận hành các cụm Kubernetes.

Với các tùy chọn cấu hình mạnh mẽ, bộ vi xử lý hiệu suất cao, dung lượng lưu trữ lớn và ổ cứng NVMe siêu tốc, Vietnix đảm bảo bạn có đủ không gian đĩa để chạy nhiều Pod, lưu trữ image và log mà không lo bị áp lực về dung lượng. Đồng thời, dịch vụ S3 Object Storage là lựa chọn hoàn hảo cho việc lưu trữ logs và dữ liệu ứng dụng lâu dài, giúp giải phóng không gian trên node. Liên hệ ngay!

Thông tin liên hệ:

• Website: https://vietnix.vn/
• Hotline: 1800 1093
• Email: sales@vietnix.com.vn
• Địa chỉ: 265 Hồng Lạc, Phường Bảy Hiền, Thành Phố Hồ Chí Minh

Kubernetes Node Disk Pressure là một tín hiệu quan trọng, cảnh báo về tình trạng thiếu hụt tài nguyên lưu trữ trên node, có thể dẫn đến việc evict Pod và gây gián đoạn dịch vụ. Việc chủ động giám sát, thiết lập giới hạn tài nguyên hợp lý và có chiến lược lưu trữ rõ ràng sẽ là chìa khóa để phòng tránh hiệu quả Node Disk Pressure, đảm bảo hệ thống luôn hoạt động đáng tin cậy.