Différences

Ci-dessous, les différences entre deux révisions de la page.

--- informatique:ai_lm:gpu_bench [11/07/2026 20:45] – [--override-tensor] cyrille
+++ informatique:ai_lm:gpu_bench [15/07/2026 12:00] (Version actuelle) – [--ubatch-size] cyrille
@@ Ligne 594: / Ligne 594: @@
 </code>
+Avec ''llama-batched-bench'' :
+<code>
+#!/usr/bin/bash
+LLAMA_DIR="$HOME/llama.cpp/build/bin"
+MODEL_DIR="/data/models"
+# https://huggingface.co/unsloth/Qwen3-Coder-Next-GGUF
+MODEL="Qwen3-Coder-Next-UD-Q4_K_XL.gguf"
+#
+# ne gère pas options multiples pour "-ub" et "-b"
+# -b 2048,4096,6144,8192
+# -ub 1024,1536,2048,2560
+#
+"$LLAMA_DIR/llama-batched-bench" -m "$MODEL_DIR/$MODEL" \
+  -c 196000 \
+  -b 2048 \
+  -ub 1024 \
+  -ngl 99 \
+  --n-cpu-moe 39 \
+  --cache-type-k q8_0 --cache-type-v q8_0 \
+  --threads 8 \
+  --temp 1.0 --top-p 0.95 --top-k 40 --min-p 0.01 --repeat-penalty 1.0 \
+  --flash-attn on \
+  -npp 512,1024,2048,4096 \
+  -ntg 32,64,128 \
+  -npl 1 \
+  --output-format md
+== Résultats:
+llama_batched_bench: n_kv_max = 196096, n_batch = 2048, n_ubatch = 1024, flash_attn = 1,
+is_pp_shared = 0, is_tg_separate = 0, n_gpu_layers = 99, n_threads = 8, n_threads_batch = 8
+|    PP |     TG |    B |   N_KV |   T_PP s | S_PP t/s |   T_TG s | S_TG t/s |      T s |    S t/s |
+|-------|--------|------|--------|----------|----------|----------|----------|----------|----------|
+|   512 |     32 |    1 |    544 |    1.752 |   292.21 |    0.835 |    38.32 |    2.587 |   210.26 |
+|   512 |     64 |    1 |    576 |    1.681 |   304.54 |    1.634 |    39.17 |    3.315 |   173.75 |
+|   512 |    128 |    1 |    640 |    1.677 |   305.36 |    3.422 |    37.41 |    5.098 |   125.53 |
+|  1024 |     32 |    1 |   1056 |    2.124 |   482.20 |    0.838 |    38.18 |    2.962 |   356.54 |
+|  1024 |     64 |    1 |   1088 |    2.139 |   478.71 |    1.669 |    38.35 |    3.808 |   285.70 |
+|  1024 |    128 |    1 |   1152 |    2.156 |   474.87 |    3.327 |    38.47 |    5.484 |   210.07 |
+|  2048 |     32 |    1 |   2080 |    4.304 |   475.82 |    0.845 |    37.88 |    5.149 |   403.97 |
+|  2048 |     64 |    1 |   2112 |    4.422 |   463.18 |    1.675 |    38.20 |    6.097 |   346.41 |
+|  2048 |    128 |    1 |   2176 |    4.419 |   463.44 |    3.347 |    38.24 |    7.766 |   280.19 |
+</code>
 ==== --n-cpu-moe ====
@@ Ligne 713: / Ligne 761: @@
  --n-cpu-moe 39 --fit-ctx 196000 \
   -p 16384 -n 256 -b 8192 -ub 2560
+... --n-cpu-moe 39
 |  n_cpu_moe | n_batch | n_ubatch |            test |                  t/s |
@@ Ligne 723: / Ligne 773: @@
 |         39 |    8192 |     2560 |           tg256 |         38.69 ± 1.52 |
-... --override-tensor 'token_embd|output_norm=CPU'
+... --n-cpu-moe 39 --override-tensor 'token_embd|output_norm=CPU'
 |  n_cpu_moe | n_batch | n_ubatch | ot                         |     test |             t/s |
@@ Ligne 729: / Ligne 779: @@
 |         39 |    8192 |     2560 | token_embd|output_norm=CPU |  pp16384 |  1117.62 ± 3.23 |
 |         39 |    8192 |     2560 | token_embd|output_norm=CPU |    tg256 |    38.65 ± 0.39 |
+... --n-cpu-moe 38
+|  n_cpu_moe | n_batch | n_ubatch |            test |                  t/s |
+| ---------: | ------: | -------: | --------------: | -------------------: |
+|         38 |    8192 |     2560 |         pp32768 |       1081.99 ± 1.69 |
+|         38 |    8192 |     2560 |           tg256 |         41.13 ± 0.15 |
+|         38 |    8192 |     2560 |         pp65536 |       1007.76 ± 1.09 |
+|         38 |    8192 |     2560 |           tg256 |         34.95 ± 1.32 |
+|         38 |    8192 |     2560 |        pp131072 |        |
+|         38 |    8192 |     2560 |           tg256 |          |
+... --n-cpu-moe 38 --override-tensor 'token_embd|output_norm=CPU'
+|  n_cpu_moe | n_batch | n_ubatch | ot                         |     test |             t/s |
+| ---------: | ------: | -------: | -------------------------- | -------: | --------------: |
+|         38 |    8192 |     2560 | token_embd|output_norm=CPU |  pp32768 |  1082.00 ± 1.84 |
+|         38 |    8192 |     2560 | token_embd|output_norm=CPU |    tg256 |    40.96 ± 0.35 |
+... --n-cpu-moe 38 -ot ffn_up_exps=CPU -ot ffn_gate_exps=CPU
+|  n_cpu_moe | n_batch | n_ubatch | ot                         |     test |             t/s |
+| ---------: | ------: | -------: | -------------------------- | -------: | --------------: |
+|         38 |    8192 |     2560 |  |  pp32768 |   |
+|         38 |    8192 |     2560 |  |    tg256 |     |
 </code>
-On dirait que llama fait tout seul la sélection des tensors à charger ou pas sur le GPU/CPU :
+On dirait que llama calcule la sélection des tensors à placer sur le GPU ou CPU :
 <code>
@@ Ligne 775: / Ligne 851: @@
 load_tensors:    CUDA_Host model buffer size = 33926.49 MiB
 ...
+</code>
+=== Avec Opencode ===
+Avec Opencode sur un gros projet Php
+Context ~ 36k ~ 42k
+''--ubatch-size 2048 --n-cpu-moe 35 --override-tensor '(token_embd|output_norm|ffn_up_exps)=CPU''' :
+<code>
+nvtop memory = 91%
+prompt eval time =   34637.21 ms / 26409 tokens (    1.31 ms per token,   762.45 tokens per second)
+       eval time =   27538.78 ms /   807 tokens (   34.12 ms per token,    29.30 tokens per second)
+      total time =   62175.99 ms / 27216 tokens
+   graphs reused =       4024
+prompt eval time =    7333.79 ms /  4423 tokens (    1.66 ms per token,   603.10 tokens per second)
+       eval time =    3952.75 ms /   111 tokens (   35.61 ms per token,    28.08 tokens per second)
+      total time =   11286.54 ms /  4534 tokens
+   graphs reused =       5107
+prompt eval time =    2740.89 ms /  2051 tokens (    1.34 ms per token,   748.30 tokens per second)
+       eval time =    8666.17 ms /   227 tokens (   38.18 ms per token,    26.19 tokens per second)
+      total time =   11407.06 ms /  2278 tokens
+   graphs reused =       5940
+</code>
+''--ubatch-size 2048 --n-cpu-moe 39'' :
+<code>
+nvtop memory = 91%
+prompt eval time =   20448.15 ms / 15360 tokens (    1.33 ms per token,   751.17 tokens per second)
+       eval time =   16597.85 ms /   587 tokens (   28.28 ms per token,    35.37 tokens per second)
+      total time =   37046.00 ms / 15947 tokens
+   graphs reused =        584
+prompt eval time =    8837.18 ms /  6270 tokens (    1.41 ms per token,   709.50 tokens per second)
+       eval time =    1544.96 ms /    48 tokens (   32.19 ms per token,    31.07 tokens per second)
+      total time =   10382.14 ms /  6318 tokens
+   graphs reused =       1582
+prompt eval time =   14653.00 ms / 10704 tokens (    1.37 ms per token,   730.50 tokens per second)
+       eval time =   22224.00 ms /   817 tokens (   27.20 ms per token,    36.76 tokens per second)
+      total time =   36877.00 ms / 11521 tokens
+   graphs reused =       3360
+</code>
+''--ubatch-size 2560 --n-cpu-moe 39'' :
+<code>
+nvtop memory = 92%
+prompt eval time =   19592.18 ms / 17101 tokens (    1.15 ms per token,   872.85 tokens per second)
+       eval time =    1747.92 ms /    61 tokens (   28.65 ms per token,    34.90 tokens per second)
+      total time =   21340.10 ms / 17162 tokens
+   graphs reused =        153
+prompt eval time =    8109.03 ms /  7356 tokens (    1.10 ms per token,   907.14 tokens per second)
+       eval time =    5224.43 ms /   154 tokens (   33.92 ms per token,    29.48 tokens per second)
+      total time =   13333.45 ms /  7510 tokens
+   graphs reused =       1198
+init sampler, took 3.03 ms, tokens: text = 38663, total = 38663
+prompt eval time =    2758.26 ms /  2168 tokens (    1.27 ms per token,   786.00 tokens per second)
+       eval time =    1580.45 ms /    52 tokens (   30.39 ms per token,    32.90 tokens per second)
+      total time =    4338.71 ms /  2220 tokens
+   graphs reused =       9322
+stop processing: n_tokens = 38714, truncated = 0
+init sampler, took 3.42 ms, tokens: text = 44117, total = 44117
+prompt eval time =    3915.89 ms /  2673 tokens (    1.46 ms per token,   682.60 tokens per second)
+       eval time =    2496.57 ms /    78 tokens (   32.01 ms per token,    31.24 tokens per second)
+      total time =    6412.46 ms /  2751 tokens
+   graphs reused =       2677
+stop processing: n_tokens = 44194, truncated = 0
+init sampler, took 2.71 ms, tokens: text = 35046, total = 35046
+prompt eval time =    1804.42 ms /   902 tokens (    2.00 ms per token,   499.88 tokens per second)
+       eval time =   24947.27 ms /   739 tokens (   33.76 ms per token,    29.62 tokens per second)
+      total time =   26751.69 ms /  1641 tokens
+   graphs reused =       4255
+stop processing: n_tokens = 35784, truncated = 0
 </code>