🇰🇷 한글 설명
Linux 커널의 파일 디스크립터 테이블 할당 취약점으로, sysctl_nr_open이 매우 높게 설정되었을 때 INT_MAX를 초과하는 메모리 할당이 시도됨. systemd가 fs.nr_open을 1073741816(약 1GB)으로 자동 설정하면서 유발되며, 높은 파일 디스크립터 번호 사용 시 커널 경고 및 8GB 이상의 과도한 메모리 할당 시도 발생.
💡 쉬운 설명
파일을 열 수 있는 개수를 매우 높게 설정하면, 큰 번호의 파일을 열려고 할 때 커널이 필요 이상으로 많은 메모리(8GB 이상)를 할당하려고 시도합니다. 이는 실패하지만 커널 경고를 발생시키고 시스템 자원을 낭비합니다.
🇺🇸 원문 (English)
In the Linux kernel, the following vulnerability has been resolved:
fs: Prevent file descriptor table allocations exceeding INT_MAX
When sysctl_nr_open is set to a very high value (for example, 1073741816
as set by systemd), processes attempting to use file descriptors near
the limit can trigger massive memory allocation attempts that exceed
INT_MAX, resulting in a WARNING in mm/slub.c:
WARNING: CPU: 0 PID: 44 at mm/slub.c:5027 __kvmalloc_node_noprof+0x21a/0x288
This happens because kvmalloc_array() and kvmalloc() check if the
requested size exceeds INT_MAX and emit a warning when the allocation is
not flagged with __GFP_NOWARN.
Specifically, when nr_open is set to 1073741816 (0x3ffffff8) and a
process calls dup2(oldfd, 1073741880), the kernel attempts to allocate:
- File descriptor array: 1073741880 * 8 bytes = 8,589,935,040 bytes
- Multiple bitmaps: ~400MB
- Total allocation size: > 8GB (exceeding INT_MAX = 2,147,483,647)
Reproducer:
1. Set /proc/sys/fs/nr_open to 1073741816:
# echo 1073741816 > /proc/sys/fs/nr_open
2. Run a program that uses a high file descriptor:
#include <unistd.h>
#include <sys/resource.h>
int main() {
struct rlimit rlim = {1073741824, 1073741824};
setrlimit(RLIMIT_NOFILE, &rlim);
dup2(2, 1073741880); // Triggers the warning
return 0;
}
3. Observe WARNING in dmesg at mm/slub.c:5027
systemd commit a8b627a introduced automatic bumping of fs.nr_open to the
maximum possible value. The rationale was that systems with memory
control groups (memcg) no longer need separate file descriptor limits
since memory is properly accounted. However, this change overlooked
that:
1. The kernel's allocation functions still enforce INT_MAX as a maximum
size regardless of memcg accounting
2. Programs and tests that legitimately test file descriptor limits can
inadvertently trigger massive allocations
3. The resulting allocations (>8GB) are impractical and will always fail
systemd's algorithm starts with INT_MAX and keeps halving the value
until the kernel accepts it. On most systems, this results in nr_open
being set to 1073741816 (0x3ffffff8), which is just under 1GB of file
descriptors.
While processes rarely use file descriptors near this limit in normal
operation, certain selftests (like
tools/testing/selftests/core/unshare_test.c) and programs that test file
descriptor limits can trigger this issue.
Fix this by adding a check in alloc_fdtable() to ensure the requested
allocation size does not exceed INT_MAX. This causes the operation to
fail with -EMFILE instead of triggering a kernel warning and avoids the
impractical >8GB memory allocation request.
📍 영향받는 시스템
systemd가 fs.nr_open을 자동으로 높게 설정한 Linux 시스템 (Fedora, CentOS, Ubuntu 등 최신 배포판)
⚔️ 공격 벡터
로컬 공격자가 dup2() 또는 fcntl() 시스템콜을 사용하여 높은 파일 디스크립터 번호에 접근 시도
🛡️ 대응 방법
Linux 커널을 alloc_fdtable()에 INT_MAX 체크가 추가된 패치 버전으로 업데이트
🔧 검증 코드
커널 버전과 현재 fs.nr_open 값을 확인하여 패치 적용 여부와 설정값(1073741816 이상이면 위험)을 검증
uname -r && cat /proc/sys/fs/nr_open