Outils pour utilisateurs

Outils du site


informatique:ai_lm:gpu_bench

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
informatique:ai_lm:gpu_bench [09/06/2026 22:20] – [Qwen2.5-coder-7b-instruct-q8_0] cyrilleinformatique:ai_lm:gpu_bench [09/06/2026 22:23] (Version actuelle) – [gpt-oss-20b-UD-Q4_K_XL] cyrille
Ligne 262: Ligne 262:
 ggml_cuda_init: found 1 CUDA devices (Total VRAM: 15849 MiB): ggml_cuda_init: found 1 CUDA devices (Total VRAM: 15849 MiB):
   Device 0: NVIDIA GeForce RTX 5060 Ti, compute capability 12.0, VMM: yes, VRAM: 15849 MiB   Device 0: NVIDIA GeForce RTX 5060 Ti, compute capability 12.0, VMM: yes, VRAM: 15849 MiB
-| model                          |       size |     params | backend    | ngl |            test |                  t/s | +| model                     |       size |     params | backend | ngl |    test |            t/s | 
------------------------------- | ---------: | ---------: | ---------- | --: | --------------: | -------------------:+| ------------------------- | ---------: | ---------: | ------- | --: | ------: | -------------:
-| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | CUDA       |  -1 |           tg128 |        155.79 ± 0.21 | +| gpt-oss 20B Q4_K - Medium |  11.04 GiB |    20.91 B | CUDA    |  -1 |   tg128 |  155.79 ± 0.21 | 
-| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | CUDA       |  -1 |           tg256 |        155.81 ± 0.03 | +| gpt-oss 20B Q4_K - Medium |  11.04 GiB |    20.91 B | CUDA    |  -1 |   tg256 |  155.81 ± 0.03 | 
-| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | CUDA       |  -1 |           tg512 |        155.15 ± 0.01 |+| gpt-oss 20B Q4_K - Medium |  11.04 GiB |    20.91 B | CUDA    |  -1 |   tg512 |  155.15 ± 0.01 |
  
 build: e25a32e98 (9584) build: e25a32e98 (9584)
Ligne 273: Ligne 273:
 ggml_cuda_init: found 1 CUDA devices (Total VRAM: 15849 MiB): ggml_cuda_init: found 1 CUDA devices (Total VRAM: 15849 MiB):
   Device 0: NVIDIA GeForce RTX 5060 Ti, compute capability 12.0, VMM: yes, VRAM: 15849 MiB   Device 0: NVIDIA GeForce RTX 5060 Ti, compute capability 12.0, VMM: yes, VRAM: 15849 MiB
-| model                          |       size |     params | backend    | ngl | n_batch |            test |                  t/s | +| model                     |       size |  params | backend | ngl | n_batch |    test |             t/s | 
------------------------------- | ---------: | ---------: | ---------- | --: | ------: | --------------: | -------------------:+| ------------------------- | ---------: | ------: | ------- | --: | ------: | ------: | --------------:
-| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | CUDA       |  -1 |     128 |          pp1024 |      3308.23 ± 19.28 | +| gpt-oss 20B Q4_K - Medium |  11.04 GiB | 20.91 B | CUDA    |  -1 |     128 |  pp1024 | 3308.23 ± 19.28 | 
-| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | CUDA       |  -1 |     256 |          pp1024 |      4792.27 ± 39.25 | +| gpt-oss 20B Q4_K - Medium |  11.04 GiB | 20.91 B | CUDA    |  -1 |     256 |  pp1024 | 4792.27 ± 39.25 | 
-| gpt-oss 20B Q4_K - Medium      |  11.04 GiB |    20.91 B | CUDA       |  -1 |     512 |          pp1024 |      6048.13 ± 32.16 |+| gpt-oss 20B Q4_K - Medium |  11.04 GiB | 20.91 B | CUDA    |  -1 |     512 |  pp1024 | 6048.13 ± 32.16 |
  
 build: e25a32e98 (9584) build: e25a32e98 (9584)
informatique/ai_lm/gpu_bench.txt · Dernière modification : de cyrille

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC0 1.0 Universal
CC0 1.0 Universal Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki