Différences

Ci-dessous, les différences entre deux révisions de la page.

--- informatique:ai_lm:gpu_bench [12/07/2026 09:05] – [Avec Opencode] cyrille
+++ informatique:ai_lm:gpu_bench [15/07/2026 12:00] (Version actuelle) – [--ubatch-size] cyrille
@@ Ligne 594: / Ligne 594: @@
 </code>
+Avec ''llama-batched-bench'' :
+<code>
+#!/usr/bin/bash
+LLAMA_DIR="$HOME/llama.cpp/build/bin"
+MODEL_DIR="/data/models"
+# https://huggingface.co/unsloth/Qwen3-Coder-Next-GGUF
+MODEL="Qwen3-Coder-Next-UD-Q4_K_XL.gguf"
+#
+# ne gère pas options multiples pour "-ub" et "-b"
+# -b 2048,4096,6144,8192
+# -ub 1024,1536,2048,2560
+#
+"$LLAMA_DIR/llama-batched-bench" -m "$MODEL_DIR/$MODEL" \
+  -c 196000 \
+  -b 2048 \
+  -ub 1024 \
+  -ngl 99 \
+  --n-cpu-moe 39 \
+  --cache-type-k q8_0 --cache-type-v q8_0 \
+  --threads 8 \
+  --temp 1.0 --top-p 0.95 --top-k 40 --min-p 0.01 --repeat-penalty 1.0 \
+  --flash-attn on \
+  -npp 512,1024,2048,4096 \
+  -ntg 32,64,128 \
+  -npl 1 \
+  --output-format md
+== Résultats:
+llama_batched_bench: n_kv_max = 196096, n_batch = 2048, n_ubatch = 1024, flash_attn = 1,
+is_pp_shared = 0, is_tg_separate = 0, n_gpu_layers = 99, n_threads = 8, n_threads_batch = 8
+|    PP |     TG |    B |   N_KV |   T_PP s | S_PP t/s |   T_TG s | S_TG t/s |      T s |    S t/s |
+|-------|--------|------|--------|----------|----------|----------|----------|----------|----------|
+|   512 |     32 |    1 |    544 |    1.752 |   292.21 |    0.835 |    38.32 |    2.587 |   210.26 |
+|   512 |     64 |    1 |    576 |    1.681 |   304.54 |    1.634 |    39.17 |    3.315 |   173.75 |
+|   512 |    128 |    1 |    640 |    1.677 |   305.36 |    3.422 |    37.41 |    5.098 |   125.53 |
+|  1024 |     32 |    1 |   1056 |    2.124 |   482.20 |    0.838 |    38.18 |    2.962 |   356.54 |
+|  1024 |     64 |    1 |   1088 |    2.139 |   478.71 |    1.669 |    38.35 |    3.808 |   285.70 |
+|  1024 |    128 |    1 |   1152 |    2.156 |   474.87 |    3.327 |    38.47 |    5.484 |   210.07 |
+|  2048 |     32 |    1 |   2080 |    4.304 |   475.82 |    0.845 |    37.88 |    5.149 |   403.97 |
+|  2048 |     64 |    1 |   2112 |    4.422 |   463.18 |    1.675 |    38.20 |    6.097 |   346.41 |
+|  2048 |    128 |    1 |   2176 |    4.419 |   463.44 |    3.347 |    38.24 |    7.766 |   280.19 |
+</code>
 ==== --n-cpu-moe ====
@@ Ligne 867: / Ligne 915: @@
       total time =   13333.45 ms /  7510 tokens
    graphs reused =       1198
+init sampler, took 3.03 ms, tokens: text = 38663, total = 38663
+prompt eval time =    2758.26 ms /  2168 tokens (    1.27 ms per token,   786.00 tokens per second)
+       eval time =    1580.45 ms /    52 tokens (   30.39 ms per token,    32.90 tokens per second)
+      total time =    4338.71 ms /  2220 tokens
+   graphs reused =       9322
+stop processing: n_tokens = 38714, truncated = 0
 init sampler, took 3.42 ms, tokens: text = 44117, total = 44117
@@ Ligne 875: / Ligne 930: @@
 stop processing: n_tokens = 44194, truncated = 0
+init sampler, took 2.71 ms, tokens: text = 35046, total = 35046
+prompt eval time =    1804.42 ms /   902 tokens (    2.00 ms per token,   499.88 tokens per second)
+       eval time =   24947.27 ms /   739 tokens (   33.76 ms per token,    29.62 tokens per second)
+      total time =   26751.69 ms /  1641 tokens
+   graphs reused =       4255
+stop processing: n_tokens = 35784, truncated = 0
 </code>