跳到正文
Mistral AI·· 2026-01-22精選AI 評分60

Mistral AI 分享 vLLM 記憶體洩漏的排查與修復過程

Heaps do lie: debugging a memory leak in vLLM.

AI 導讀

Mistral AI 團隊追查 vLLM 分離式服務的記憶體洩漏,定位到 UCX 的 mmap hook 與延後清理的記憶體池。問題只在使用 NIXL 的 Prefill/Decode 分離式設定中重現;設置 UCX_MEM_MMAP_HOOK_MODE=none 可解決洩漏,且在此 vLLM 用例中不影響效能。

推薦理由

這篇排查記錄示範如何從 RSS 與匿名映射的異常增長開始,逐步利用 BPFtrace 和 GDB 定位 UCX mmap hook,並整理 vLLM 分離式服務可用的修復設定。

正文 · 繁體中文

幾個月前,我們的團隊調查 vLLM 是否存在記憶體洩漏。起初,我們以為問題很容易定位,只會侷限在程式碼庫的上層;但愈深入調查,事情就愈複雜。這篇文章為我們全新的「工程深度剖析」系列揭開序幕,分享我們在 Mistral AI 如何進行技術調查和建立解決方案。

問題最初在預生產環境測試解耦式服務時出現,當時使用的是我們其中一款前沿模型。記憶體用量持續攀升,但只在特定條件下出現:使用 vLLM、我們的Mistral Medium 3.1 模型,並啟用圖形編譯。過程中沒有崩潰或錯誤,只是在接近生產環境的流量下,系統記憶體每分鐘緩慢線性增加 400 MB。幾小時後,便會進入「記憶體不足」狀態。

接下來,我們有條不紊地追查問題,從高階 Python 工具一路深入至核心層追蹤,終於找出真正根源。以下會説明我們如何追查,以及這件事揭示了今日軟件依賴層中哪些隱藏風險。

E2f0fa05 5d77 4acc Ac9b 43e10db5769c Copie

這可不是我們想在 Grafana 看到的趨勢向上圖表

一場躲貓貓式的洩漏。

一開始,我們循一般故障排除流程處理:嘗試用較小型的模型重現問題,並減少啟用的生產環境最佳化,以隔離洩漏來源。但我們試過不同設定和模型後,仍無法在其他配置中重現問題。錯誤只會在使用 NIXL 的 Prefill/Decode 解耦配置中出現。

Prefill/Decode(P/D)解耦在這次調查中十分關鍵,因此先簡述這種推論配置的運作方式。P/D 解耦會把查詢處理分成兩個階段,分別由不同的執行個體處理:

  1. 首先,路由器會把「prefill request」傳送至 prefill vLLM 執行個體(方法是設定 max_tokens=1,並提供空的 KV Transfer 中繼資料集合),以計算該請求的 KVCache。

  2. 處理完成後,路由器會把 KVCache 中繼資料連同「decode request」傳送至 decode vLLM 執行個體。

  3. KVCache 傳輸透過 NIXL 啟動,而 token 生成則在 decode vLLM 執行個體進行,並使用及延伸已傳輸的 KVCache。

洩漏只在這種解耦配置的 decode 端出現,強烈暗示透過 NIXL 傳輸 KV Cache 是洩漏根源。在我們的配置中,NIXL 依賴 UCX(Unified Communication X),這是一個專為分散式系統資料交換而設計的高效能通訊程式庫。UCX 支援多種技術上的最佳化資料傳輸,包括 Infiniband;這是一種低延遲、高吞吐量的互連技術,常用於 HPC 和資料中心。

P/D 解耦服務部署概覽。

在餘下調查中,我們一直使用這種配置,並先透過 Python 記憶體剖析工具找出洩漏來源。

我們試過 Memray 和 Guppy 3,但兩者都沒有顯示洩漏,能觀察到的一切看起來正常。嘗試使用 GDB 則令整個程序崩潰。我們的 vLLM 配置對 Valgrind 等工具來説也太龐大,導致工具慢得不切實際,甚至完全無法使用。

很明顯,我們需要更強大的工具追蹤洩漏。不過在投入更多時間之前,我們決定先確認其他人也能重現這個洩漏。我們在 vLLM 的 GitHub 程式碼庫提交了問題並聯絡 vLLM 團隊,這有助確認不只我們遇到此問題,也證明有必要深入調查。

使用 Heaptrack 計算 malloc 和 free 次數。

為了更清楚追蹤發生的情況,我們改用 Heaptrack:這是一款記憶體剖析器,會攔截 malloc 或 free 等記憶體操作,並連同堆疊追蹤記錄這些事件。

Heaptrack 的創作者 Millian Wolf 寫了一篇出色的入門網誌,助你開始使用這個工具。整個流程分兩步:先執行程式並進行追蹤,再解讀資料傾印。

為追蹤 vLLM worker 程序中的配置,我們透過 vLLM 把 LD_PRELOAD 設為 libheaptrack_preload.so,確保此程式庫在其他程式庫之前載入,並覆寫記憶體配置函數的行為,從而產生資料傾印。

接著,我們使用 heaptrack_interpret 將這些資料視覺化:

$ git clone https://github.com/KDE/heaptrack.git

$ cd heaptrack && mkdir build && cd build && cmake .. && sudo make install

# Setting LD_PRELOAD=/path/to/libheaptrack_preload.so creates a temporary file named heaptrack.<pid>, here the pid is 2028233

$ /usr/local/lib/heaptrack/libexec/heaptrack_interpret < heaptrack.2028233 | gzip > heaptrack.vllm.2028233.gz

Heaptrack 會提供詳細而互動式的堆積配置圖,深入至函數層級。我們可以追蹤每次 malloc 和 free,並清楚查看記憶體用量細分。

72a017c9 7ffc 44dd A311 534ea3fefe1d Copie

Heaptrack 顯示的 vLLM worker 記憶體用量

此時你可能會問:記憶體洩漏在哪裏?事實上,唯一看得見的記憶體增加,是 NIXL 延遲初始化所致。

為了確認這個配置確實發生洩漏,我們執行 vLLM 基準測試,並用 heaptrack_interpret 建立兩份 Heaptrack 快照:一份在開始時,另一份在接近結束時。雖然堆積記憶體本身保持穩定,但兩份快照中的尖峯常駐記憶體(RSS)不同;下一節會介紹 RSS。這項差異可在 Heaptrack 的摘要頁籤中看到。

Image5

Heaptrack 中的尖峯 RSS 差異:基準測試前(1)和後(2)

這表示洩漏發生在堆積之外,並不屬於 Heaptrack 分析的記憶體範圍。我們需要改用其他工具,追蹤堆積之外的記憶體配置。

超越堆積:瞭解常駐記憶體和系統配置。

要明白 Heaptrack 為何偵測不到洩漏,首先要釐清常駐集大小(RSS)究竟包含甚麼。RSS 代表程序中實際存放於 RAM 的記憶體部分,不只包括堆積,具體還包括:

  • 堆積傳統上由舊式系統呼叫 sbrk 和 brk 管理;它們會調整或設定程式的 break 位址,即標示堆積區段末端的指標。

  • 堆疊用來儲存區域變數和函數呼叫框架。

  • 匿名記憶體映射是不由檔案提供後備內容,而是透過 mmap 系統呼叫直接配置的記憶體區域。自訂配置器或 malloc 配置較大的記憶體區塊時,經常會使用這些區域。匿名映射的位址通常位於堆積位址空間和堆疊位址空間之間,該區域稱為記憶體映射區段。

malloc 雖然可以使用 sbrk 進行小型配置,但現代實作通常較傾向使用帶匿名映射的 mmap;這種方式更靈活,而且可配置巨頁(視乎配置,記憶體頁面大小可為 2MB 或 1GB)。

Heaptrack 只攔截 glibc 的 malloc 和 free 函數。因此,它能追蹤由 malloc 直接配置的傳統堆積和匿名映射,但會漏掉透過直接 mmap 呼叫,或 glibc 無法控制的其他系統層機制所配置的記憶體。

幸好追蹤記憶體狀況並非全無辦法。Linux 的 /proc 檔案系統是一個特殊目錄,作為核心 API,提供與執行中程序互動的虛擬介面,並即時提供程序詳細資料,例如:

  • /proc/<pid>/fd:列出程序所有已開啟的檔案描述符。

  • /proc/<pid>/maps:顯示程序記憶體區域的詳細映射,包括堆積、堆疊、共享程式庫和匿名映射。

  • 還有許多其他資訊(只要執行簡單的 ls,便可列出 /proc/<pid>/ 中的可用項目)。

為了繼續調查,我們使用 pmap 指令讀取 /proc/<pid>/maps,再以易讀格式顯示記憶體用量。我們想追蹤記憶體區域隨時間的變化,因此執行:

$ watch -n 1 "pmap -X $pid | (head -n 2 && tail -n +3 | sort -k7 -nr)"

這項指令會每秒執行一次 pmap,顯示指定 PID 的延伸記憶體資訊;它會略過標題列,再按記憶體大小排序輸出,讓我們集中查看最大的記憶體區域。

透過這項指令,我們發現一個有趣模式:只有部分匿名記憶體映射會隨時間增大,而且起始位址亦會改變。這些配置區域逐漸變得非常龐大,其他大部分區域則沒有變化。

我們的 pmap 指令列出按 RSS 大小排序的記憶體頁面,讓可疑配置一目瞭然。橙色圓點標示其中一個例子。

這種行為是 mremap 的典型特徵:它是一種調整現有記憶體區域大小或搬移位置的系統呼叫,不會先釋放該區域。realloc 只在堆積內運作並依賴 glibc 記憶體管理;不同的是,mremap 在更底層運作,常用於自訂配置器、程式庫,甚至手動記憶體管理程式碼,以動態調整記憶體配置。

這種模式亦可能由反覆執行 munmap 再執行 mmap 所致:記憶體先釋放再重新配置,但總用量仍持續增加,原因可能是記憶體碎片、自訂配置器洩漏,或不當的調整大小邏輯。就我們的情況而言,位址不斷改變而且區域逐漸增大,強烈顯示記憶體曾重新配置,卻沒有妥善釋放。

這是我們首次取得具體線索:洩漏並非發生在堆積,而是匿名記憶體區域被調整大小後沒有妥善釋放。

使用 BPFtrace 追蹤洩漏。

我們已把洩漏範圍縮窄至原始 mmap 或 mremap 呼叫,但仍需確認是哪一種造成問題。由於 Heaptrack 無法追蹤,我們首先透過 LD_PRELOAD 使用一個自訂的小型 C 程式庫,記錄每次 mmap 和 mremap 呼叫,希望攔截目標呼叫。不過這個方法有限制:並非所有 mmap/mremap 呼叫都會經過 glibc。我們的自訂掛鈎看見部分配置,但位址與 pmap 輸出中洩漏的位址對不上。洩漏區域仍在增大,LD_PRELOAD 掛鈎卻追蹤不到。這表示配置可能是透過手動系統呼叫執行,或系統中另有其他掛鈎機制。

為了全面瞭解情況,我們改用 BPFtrace,這是一款即時追蹤系統呼叫和核心事件的工具。它依賴 Linux 核心的 eBPF 虛擬機器,在追蹤點或探針上執行輕量、經預先驗證的位元碼,讓我們能安全而低開銷地進行分析。一些 Kubernetes 工具也會使用 BPFtrace 偵測叢集中的異常或危險行為,例如未經授權的存取或資源濫用,而且不會危及核心穩定性。

我們也考慮過 strace,但它依賴 PTRACE,速度太慢,不適合在這個階段有效分析問題。因此我們編寫 BPFtrace 指令碼,記錄每次 mmap 和 mremap 呼叫及其參數和堆疊追蹤,包括不經 glibc 的呼叫。以下是我們在 Le Chat 協助下編寫的指令碼:

tracepoint:syscalls:sys_enter_mmap /pid == (uint64)$1/ {

printf("Stack trace:\n%s\n", ustack(perf));

printf("PID/TID: %d %d | ", pid, tid);

printf("ENTER mmap(addr=%p, len=%d, prot=%d, flags=%d, fd=%d, off=%d)\n",

args->addr, args->len, args->prot, args->flags, args->fd, args->off);

}

tracepoint:syscalls:sys_exit_mmap /pid == (uint64)$1/ {

printf("PID/TID: %d %d | ", pid, tid);

printf("EXIT mmap: ret=%p\n", args->ret);

}

tracepoint:syscalls:sys_enter_munmap /pid == (uint64)$1/ {

printf("PID/TID: %d %d | ", pid, tid);

printf("ENTER munmap(addr=%p, len=%d)\n", args->addr, args->len);

}

tracepoint:syscalls:sys_exit_munmap /pid == (uint64)$1/ {

printf("PID/TID: %d %d | ", pid, tid);

printf("EXIT munmap: ret=%d\n", args->ret);

}

tracepoint:syscalls:sys_enter_mremap /pid == (uint64)$1/ {

printf("PID/TID: %d %d | mremap", pid, tid);

printf("old_addr=%p, old_len=%d, new_len=%d, flags=%d, new_addr=%p)\n",

args->addr, args->old_len, args->new_len, args->flags, args->new_addr);

}

tracepoint:syscalls:sys_exit_mremap /pid == (uint64)$1/ {

printf("PID/TID: %d %d | ", pid, tid);

printf("EXIT mremap: ret=%p\n", args->ret);

}

我們以 root 身分執行以下指令,並把 $pid 換成 pmap 判定出現洩漏的 vLLM worker 程序 PID:

bpftrace /host/script_bpftrace.txt $pid > out_$pid.txt

簡單來説,這個指令碼會:

  • 在 mmap、munmap 和 mremap 系統呼叫進入核心時追蹤它們。

  • 列印執行緒 ID、呼叫類型、要求的位址和長度。

  • 列印使用者空間堆疊追蹤(BPFtrace 中為 ustack),以判斷呼叫源自何處。

以下是此指令碼的輸出範例:

Stack trace:

7ffff7d6b88d syscall+29 (/usr/lib/x86_64-linux-gnu/libc.so.6)

PID/TID: 441359 441359 | ENTER mmap(addr=(nil), len=151552, prot=3, flags=34, fd=-1, off=0)

PID/TID: 441359 441359 | EXIT mmap: ret=0x7fd8a78ee000

BPFtrace 指令碼輸出片段。當中的 syscall+29 是重要線索。

此時,讓我們整理收集到的資訊:

  • pmap 顯示了可疑的持續增大配置及其基底位址。

  • BPFtrace 顯示這些位址由 mmap 呼叫取得,而非 mremap。這令我們意外,因為對於不斷增大的記憶體配置而言,mremap 聽起來是最可疑的對象。

  • 更耐人尋味的是,這些呼叫源自 syscall+29,即 glibc 的原始系統呼叫包裝器;它讓使用者可透過類似以下的 API 執行原始系統呼叫:syscall(SYS_mmap, ...)

這是重大進展,但仍需進一步調查。BPFtrace 顯示了系統呼叫本身的使用者堆疊追蹤(其文件稱為 ustack),但只提供使用者呼叫堆疊的第一個項目,並未顯示導致配置的完整使用者空間上下文。我們能看到哪裏呼叫了 mmap,卻看不到更早之前的呼叫者。這些資訊對我們十分重要,因此我們嘗試瞭解為何無法取得,並起初認為配置停用了框架指標,於是決定沿這個方向調查。

補充説明,框架指標是一項功能,會把函數呼叫的返回位址儲存在暫存器或記憶體位置,讓工具能重建完整呼叫堆疊。過去大部分程式庫為了最佳化而停用框架指標,因為它會帶來輕微開銷;但現代發行版已開始重新啟用,因為相較除錯方面的好處,效能損耗已微不足道。

可惜,把 Ubuntu 22.04 LTS 升級至已為原生程式庫啟用框架指標的 Ubuntu 24.04 LTS 仍不足以解決問題。這表示元兇可能是某個已最佳化的 Python 依賴套件,它停用了框架指標。

我們思索了一段時間:哪個 Python 套件會直接執行系統呼叫,繞過一般標準程式庫呼叫?此時我們有兩個可能的元兇:

  1. UCX(Unified Communication X)是一個用於加速網絡和 RDMA(遠端直接記憶體存取)的高效能通訊程式庫。UCX 是 NIXL 的依賴項,而 vLLM 會使用 NIXL 進行解耦式服務。UCX 以低階記憶體最佳化見稱,包括自訂記憶體配置器。

  2. PyTorch 自行執行記憶體管理和最佳化,為提升效能經常繞過標準配置器。PyTorch 的自訂配置和 JIT 編譯亦可能造成洩漏。

兩個嫌疑對象都已列出,我們需要方法深入調查。此時我們轉而使用 GDB 自動化。

GDB 自動化來幫忙。

調查初期無法使用 GDB,原因很簡單:GDB 會附加至整個程序。對 vLLM 而言,把 GDB 附加至主程序會令所有 worker 停止運作,無法即時觀察洩漏。洩漏沒有造成崩潰,而程序規模又大得不切實際,無法傾印記憶體。我們當時陷入困境。

不過,從 BPFtrace 記錄中,我們留意到每次造成洩漏的 mmap 呼叫都源自相同位址。正如上一節所述,該位址並非直接指向 mmap,而是在 glibc 的 syscall 輕量包裝器內。此函數會繞過 glibc 一般的 mmap 包裝器,因此我們先前的 LD_PRELOAD 掛鈎才會漏掉它。我們嘗試使用 LD_PRELOAD 攔截 glibc 的 syscall,但結果竟然也不起作用……幾乎令我們無法動態追蹤這些呼叫。

既然造成洩漏的呼叫總是來自同一條 syscall 指令,我們便可自動化 GDB,只在命中該特定位址時中斷。做法如下:

  1. 我們在條件中斷點上設定 syscall 位址,只有系統呼叫編號符合 SYS_mmap 時才會觸發。

  2. 我們會在 mmap 系統呼叫結束時暫時中斷,以檢查返回值(即配置的位址),並列印完整堆疊追蹤。

  3. 我們一次過傾印所有可用上下文:返回位址、呼叫堆疊,以及其他相關暫存器或記憶體。

  4. 基準測試期間,我們只讓這個條件式指令碼執行幾秒鐘,再把擷取的返回位址與 pmap 監測結果比較,確認它們是否對應已知的洩漏區域。

以下是指令碼,可透過 gdb -x gdb_script.txt 執行:

# Attach to the process

attach 2199304

# Open a log file for output

set logging file syscall_output.txt

set logging on

# Set a conditional breakpoint on syscall for rdi == 9 (mmap)

break syscall if $rdi == 9

# Commands for the syscall breakpoint

commands

silent

# Set a temporary breakpoint at the return point

tbreak *0x00007ffff7d9525d

# Commands for the temporary breakpoint

commands $bpnum + 1

silent

set $ret_val = $rax

bt

printf "Syscall returned: rax = 0x%012lx\n", $ret_val

continue

end

continue

end

# Run the process

continue

這個方法帶來兩項主要好處:

  • 我們能在配置發生時擷取完整使用者空間堆疊追蹤,這是 BPFtrace 無法可靠提供的。

  • 我們亦可把返回位址與 pmap 輸出交叉比對,確認它們是否對應洩漏區域。

簡而言之,我們把 GDB 變成精準而不造成幹擾的觀察工具:只在洩漏發生時中斷,列印所需資訊,然後讓程序繼續運作。這終於讓我們把 mmap 呼叫與先前在 pmap 中看到的匿名區域增長聯繫起來。

第一份堆疊追蹤顯示 Python(第 #5 行)呼叫 mmap 時經過 UCX(第 #4 行)。這出乎意料,因為在一般情況下,Python 應直接呼叫 glibc 的 mmap。

#0 syscall () at ../sysdeps/unix/sysv/linux/x86_64/syscall.S:29

#1 0x00007ffc61759ac2 in ucm_orig_mmap_syscall () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#2 0x00007ffc61753bd1 in ?? () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#3 0x00007ffc61753e3b in ucm_event_dispatch () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#4 0x00007ffc61754009 in ucm_mmap () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#5 0x0000000000674ac0 in _PyMem_ArenaAlloc (_unused_ctx=<optimized out>, size=<optimized out>) at ../Objects/obmalloc.c:138

...

第二份堆疊追蹤更令人困惑:Python(第 #8 行)呼叫 munmap 時經過 UCX(第 #7 行),但不知何故,過程中卻觸發了 mmap 配置(第 #1 行):

#0 syscall () at ../sysdeps/unix/sysv/linux/x86_64/syscall.S:38

#1 0x00007ffc60f58ac2 in ucm_orig_mmap_syscall () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#2 0x00007ffc60fae47c in ?? () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucs-311e600f.so.0.0.0

#3 0x00007ffc60f9b9c4 in ucs_mpool_grow () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucs-311e600f.so.0.0.0

#4 0x00007ffc60f9bbf5 in ucs_mpool_get_grow () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucs-311e600f.so.0.0.0

#5 0x00007ffc60fafe2c in ?? () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucs-311e600f.so.0.0.0

#6 0x00007ffc60f52e3b in ucm_event_dispatch () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#7 0x00007ffc60f5313b in ucm_munmap () from /.venv/lib/python3.12/site-packages/.nixl.mesonpy.libs/plugins/../../nixl.libs/libucm-e091ff91.so.0.0.0

#8 0x0000000000607d15 in _PyThreadState_PopFrame (tstate=0xba6ac8 <_PyRuntime+459656>, frame=<optimized out>) at ../Python/pystate.c:2992

...

這出乎意料,因為 munmap 的用途是釋放記憶體,而非配置記憶體。在 UCX 記憶體管理模組 UCM 中,看到 mmap 呼叫發生於 munmap 操作期間,表示 UCX 的記憶體池管理可能出了問題。

確認 UCX 記憶體掛鈎的作用。

我們把調查結果分享給 vLLM 團隊,他們協助驗證及修正我們對問題的理解。雙方發現,UCX 會使用 mmap 掛鈎機制,最佳化 InfiniBand 的記憶體操作,包括預先快取傳輸資料(這項功能稱為註冊快取,RCache)。InfiniBand 記憶體管理通常成本高昂,因為需要在硬件層級註冊記憶體。

不過,此機制預設會攔截所有 mmap 呼叫(預設),而不只與 UCX 或 InfiniBand 操作相關的呼叫。這種廣泛攔截解釋了我們先前為何無法透過基於 LD_PRELOAD 的 mmap 掛鈎追蹤配置:UCX 會動態修補應用程式所用的全域偏移表(GOT)項目,使它們呼叫 mmap 和 munmap 等函數,因此完全繞過了我們先前的掛鈎。我們亦發現,偵測到 Valgrind 時,這種掛鈎機制會自動停用,所以 Valgrind 也無法用於更深入的分析。

GOT 是動態連結器用來解析動態連結程式庫函數呼叫的資料結構。程式啟動時,動態連結器會在 GOT 填入共享程式庫中函數的實際位址,例如 mmap。

一般認為在執行期間修改 GOT 是不良做法,因為可能造成不穩定、增加除錯難度,亦會破壞程式或程式庫所依賴的假設。不過 UCX 這樣做有其原因:它需要管理註冊快取,追蹤已「註冊」(或「固定」)的記憶體。這類記憶體已固定在原處,確保虛擬位址至實體位址的映射維持不變。如此一來,網絡介面卡便能在不經 CPU 的情況下,直接在網絡架構和 RAM 之間傳輸資料。這對效能至關重要,但必須小心管理,因為可用註冊記憶體有限。

解決問題。

得知 mmap 掛鈎機制正在運作後,我們發現情況其實有好消息:只要設定環境變數 UCX_MEM_MMAP_HOOK_MODE=none,便能完全停用該機制。這成功停用了相關行為,並在不影響效能的情況下修復記憶體洩漏。透過 RDMA 傳送不同記憶體區塊時,mmap 掛鈎很有用;但在 vLLM 的使用情境中,我們只需處理單一大型連續記憶體區域,即整個 vLLM KVCache Manager 記憶體。NIXL 只需為傳輸註冊一次記憶體。因此,在 vLLM 的使用情境中停用掛鈎機制是安全的,不會對解耦式服務效能造成負面影響。

與 UCX 團隊討論後,我們得知呼叫 munmap 時,UCX 不會立即釋放記憶體,而是把區域移至失效佇列,稍後再清理。此佇列由 UCX 記憶體池管理,並會按需要動態擴大容納更多項目。結果,記憶體區域不斷累積而未獲釋放,持續增長的佇列亦需要額外配置;這就解釋了為何 mmap 會在 munmap 操作期間被呼叫。另一個解決記憶體洩漏的方法是設定環境變數 UCX_RCACHE_MAX_UNRELEASED=1024(預設值為 inf),限制佇列中未釋放的記憶體區域數量,達到門檻時便強制 UCX 開始清理。

問題是,這種情況本來不應發生。NIXL 和 vLLM 確實有呼叫應該會觸發記憶體池清理的 ucp_worker_progress() 函數。為何這個特殊邊緣情況下沒有觸發,目前仍未清楚;但這顯示把 UCX_RCACHE_MAX_UNRELEASED 預設為無限大並不恰當。UCX 和 NIXL 團隊決定在未來的 NIXL 版本修改這個行為。同時,我們已在 vLLM 程式碼庫合併修正,協助社羣避免遇到相同洩漏。

調查摘要。

簡要回顧調查過程:

  1. 我們在生產環境以解耦式服務部署前沿模型時,發現記憶體洩漏迅速增長。

  2. 我們嘗試精簡環境並建立最小重現案例,但這個錯誤只會在複雜配置、大型模型和啟用解耦的情況下重現。

  3. 我們使用 Memray、Guppy 3 和 Heaptrack 分析洩漏。這些工具都沒有提供明顯線索。不過,我們留意到 Heaptrack 指標有異常:常駐記憶體特別大,於是決定深入調查。

  4. 藉助 pmap,我們看到RSS 配置持續增大,並取得相關基底指標。

  5. 我們想進一步找出是誰發出了這些呼叫。透過編寫指令碼和使用 BPFtrace,我們發現洩漏源自 mmap 呼叫。即使盡力調查,我們仍無法收集完整堆疊追蹤(否則便能精確定位元兇呼叫位置),但這令我們相信系統呼叫由經過高度最佳化的套件發出。

  6. 有了這些資訊,我們得以設定非常精確的 GDB 中斷點,只在造成問題的呼叫出現時觸發。

  7. 我們發現這些呼叫由 UCX 執行。這些呼叫原本是為了改善 InfiniBand 傳輸效能,目的合理,卻令 RSS 配置不斷增長,並令我們數天內都無法部署解耦式服務。

  8. 找出洩漏源頭後,解決方法很容易:設定 UCX_MEM_MMAP_HOOK_MODE=none 便能修復問題。我們在 vLLM 程式碼庫的調查討論中分享結果,並為社羣合併了修補程式。

我們的心得。

現代軟件堆疊建基於多層依賴項,每一層都增加複雜性和潛在故障點。這些抽象層大幅提升程式設計師的生產力,卻無法完全隔絕底層堆疊的問題。因此,除錯時必須準備好深入追查。不過,在這類環境中深入調查通常並不簡單,尤其效能最佳化可能引入微妙的邊緣情況。UCX 正是很好的例子:它的設計以效能為先,但攔截 mmap 呼叫的方式會帶來難以追查的風險。這次經驗再次説明,在高度互相依賴的系統中診斷問題有多困難。

這次調查亦説明,處理攸關效能的依賴項時,透明溝通和協作十分重要。我們感謝 vLLM、NIXL 和 UCX 團隊協助確認並處理此行為。他們的專業知識對解決問題至關重要,我們期待繼續合作。

我們感謝以下人士協助調查並共同解決問題:

  • Robert Shaw(Red Hat,vLLM 及 llm-d 維護者)

  • Will Eaton(Red Hat,vLLM 及 llm-d 維護者)

  • Nicolò Lucchesi(Red Hat,vLLM 及 llm-d 維護者)

  • Mikhail Brinskii (NVIDIA,NIXL 維護者)

  • Leonid Genkin(NVIDIA,UCX 維護者)

  • Nathan Bellalou(NVIDIA,UCX 及 NIXL 維護者)

我們正在招聘

想迎接這類挑戰?加入 Mistral AI,一起塑造 AI 基礎設施的未來。我們一直尋找優秀工程師和研究人員,一同合作開展前沿項目。

來源:Mistral AI · mistral.ai