Outils pour utilisateurs

Outils du site


informatique:ai_lm:gpu_bench

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision
Révision précédente
informatique:ai_lm:gpu_bench [02/04/2026 11:48] – [texte long] cyrilleinformatique:ai_lm:gpu_bench [30/04/2026 17:45] (Version actuelle) – [GPU Bench] cyrille
Ligne 3: Ligne 3:
   * [[https://blogs.nvidia.com/blog/tag/rtx-ai-garage/|RTX AI Garage]] sur blog de nvidia   * [[https://blogs.nvidia.com/blog/tag/rtx-ai-garage/|RTX AI Garage]] sur blog de nvidia
  
 +  * Gigabyte Windforce OC 12GB Geforce RTX 3060, **354 €TTC** neuve 2025-11
 +  * PNY OC 16 Go Geforce RTX 5060 Ti, **450 €TTC** neuve 2025-11
  
 Benchmark d'IA pour [[https://lab.cyrille.giquello.fr/Anticor/graphLmExtract.html|extraction de noms]] : Benchmark d'IA pour [[https://lab.cyrille.giquello.fr/Anticor/graphLmExtract.html|extraction de noms]] :
Ligne 19: Ligne 21:
   * Prompt processing: b128, b256, b512 : ''-p 1024 -n 0 -b 128,256,512''   * Prompt processing: b128, b256, b512 : ''-p 1024 -n 0 -b 128,256,512''
  
-^  models                          ^ test  ^  tokens/seconds  ^^^ +^  models                           ^ test   ^  tokens/seconds                             ^^^              
-                                       ^ i7-1360P ^ RTX 3060 ^ RTX 5060 Ti ^ +                                         ^ i7-1360P         ^ i7-1360P SYCL  ^ RTX 3060  ^ RTX 5060 Ti  
-| Qwen2.5-coder-7b-instruct-q5_k_m | tg128 |    5.47 |     57.65 |       73.54 | +| Qwen2.5-coder-7b-instruct-q5_k_m  | tg128              5.47 |                |     57.65 |        73.54 | 
-| //size: 5.07 GiB//               | tg256 |     ... |     57.61 |       73.32 | +| //size: 5.07 GiB//                | tg256               ... |                |     57.61 |        73.32 | 
-                                 | tg512 |     ... |     56.20 |       71.80 | +                                  | tg512               ... |                |     56.20 |        71.80 | 
-                                 | b128      ... |   1825.17 |     2840.57 | +                                  | b128                ... |                |   1825.17 |      2840.57 | 
-                                 | b256      ... |   1924.10 |     3209.52 | +                                  | b256                ... |                |   1924.10 |      3209.52 | 
-                                 | b512      ... |   1959.18 |     3271.22 | +                                  | b512                ... |                |   1959.18 |      3271.22 | 
-| Qwen2.5-coder-7b-instruct-q8_0   | tg128 |     ... |     41.42 |       50.33 | +| Qwen2.5-coder-7b-instruct-q8_0    | tg128               ... |                |     41.42 |        50.33 | 
-| //size: 7.54 GiB//               | tg256 |     ... |     41.38 |       50.33 | +| //size: 7.54 GiB//                | tg256               ... |                |     41.38 |        50.33 | 
-                                 | tg512 |     ... |     40.70 |       49.62 | +                                  | tg512               ... |                |     40.70 |        49.62 | 
-                                 | b128    13.98 |   1952.96 |     2972.52 | +                                  | b128   |            13.98 |          36.34 |   1952.96 |      2972.52 | 
-                                 | b256      ... |   2054.09 |     3460.41 | +                                  | b256                ... |          42.28 |   2054.09 |      3460.41 | 
-                                 | b512      ... |   2093.21 |     3511.29 | +                                  | b512                ... |          45.99 |   2093.21 |      3511.29 | 
-| EuroLLM-9B-Instruct-Q4_0         | tg128 |     ... |     56.06 |       71.41 | +| EuroLLM-9B-Instruct-Q4_0          | tg128               ... |                |     56.06 |        71.41 | 
-| //size: 4.94 GiB//               | tg256 |     ... |     55.96 |       71.15 | +| //size: 4.94 GiB//                | tg256               ... |                |     55.96 |        71.15 | 
-                                 | tg512 |     ... |     53.87 |       69.45 | +                                  | tg512               ... |                |     53.87 |        69.45 | 
-                                 | b128      ... |   1433.95 |  CUDA error | +                                  | b128                ... |                |   1433.95 |   CUDA error | 
-                                 | b256      ... |   1535.06 |         ... | +                                  | b256                ... |                |   1535.06 |          ... | 
-                                 | b512      ... |   1559.88 |         ... | +                                  | b512                ... |                |   1559.88 |          ... | 
-| Qwen3-14B-UD-Q5_K_XL             | tg128 |     ... |     30.00 |       37.66 | +| Qwen3-14B-UD-Q5_K_XL              | tg128               ... |                |     30.00 |        37.66 | 
-| //size: 9.82 GiB//               | tg256 |     ... |     29.97 |       38.17 | +| //size: 9.82 GiB//                | tg256               ... |                |     29.97 |        38.17 | 
-                                 | tg512 |     ... |     29.25 |       37.30 | +                                  | tg512               ... |                |     29.25 |        37.30 | 
-                                 | b128      ... |    903.97 |  CUDA error | +                                  | b128                ... |                |    903.97 |   CUDA error | 
-                                 | b256      ... |    951.71 |         ... | +                                  | b256                ... |                |    951.71 |          ... | 
-                                 | b512      ... |    963.76 |         ... | +                                  | b512                ... |                |    963.76 |          ... | 
-| Qwen3-4B-UD-Q8_K_XL              | tg128 |    7.37 |     56.35 |         ... | +| Qwen3-4B-UD-Q8_K_XL               | tg128              7.37 |                |     56.35 |          ... | 
-| //size: 4.70 GiB//               | tg256 |    6.63 |     56.35 |         ... | +| //size: 4.70 GiB//                | tg256              6.63 |                |     56.35 |          ... | 
-                                 | tg512 |    6.24 |     54.56 |         ... | +                                  | tg512              6.24 |                |     54.56 |          ... | 
-                                 | b128    20.66 |   2163.17 |         ... | +                                  | b128              20.66 |                |   2163.17 |          ... | 
-                                 | b256      ... |   2405.27 |         ... | +                                  | b256                ... |                |   2405.27 |          ... | 
-                                 | b512      ... |   2495.35 |         ... | +                                  | b512                ... |                |   2495.35 |          ... | 
-| GemmaCoder3-12B-IQ4_NL.gguf      | tg128 |     ... |     40.70 |         ... | +| GemmaCoder3-12B-IQ4_NL.gguf       | tg128               ... |                |     40.70 |          ... | 
-| //size: 6.41 GiB//               | tg256 |     ... |     40.67 |         ... | +| //size: 6.41 GiB//                | tg256               ... |                |     40.67 |          ... | 
-                                 | tg512 |     ... |     39.54 |         ... | +                                  | tg512               ... |                |     39.54 |          ... | 
-                                 | b128      ... |   1150.11 |         ... | +                                  | b128                ... |                |   1150.11 |          ... | 
-                                 | b256      ... |   1218.27 |         ... | +                                  | b256                ... |                |   1218.27 |          ... | 
-                                 | b512      ... |   1253.92 |         ... | +                                  | b512                ... |                |   1253.92 |          ... | 
-| Gemma3-Code-Reasoning-4B.Q8_0    | tg128 |     ... |     66.98 |         ... | +| Gemma3-Code-Reasoning-4B.Q8_0     | tg128               ... |                |     66.98 |          ... | 
-| //size: 3.84 GiB//               | tg256 |     ... |     66.95 |         ... | +| //size: 3.84 GiB//                | tg256               ... |                |     66.95 |          ... | 
-                                 | tg512 |     ... |     65.75 |         ... | +                                  | tg512               ... |                |     65.75 |          ... | 
-                                 | b128      ... |   2885.80 |         ... | +                                  | b128                ... |                |   2885.80 |          ... | 
-                                 | b256      ... |   3266.87 |         ... | +                                  | b256                ... |                |   3266.87 |          ... | 
-                                 | b512      ... |   3457.03 |         ... | +                                  | b512                ... |                |   3457.03 |          ... | 
-| GemmaCoder3-12B-Q5_K_M           | tg128 |     ... |     34.10 |         ... | +| GemmaCoder3-12B-Q5_K_M            | tg128               ... |                |     34.10 |          ... | 
-| //size: 7.86 GiB//               | tg256 |     ... |     34.06 |         ... | +| //size: 7.86 GiB//                | tg256               ... |                |     34.06 |          ... | 
-                                 | tg512 |     ... |     33.28 |         ... | +                                  | tg512               ... |                |     33.28 |          ... | 
-                                 | b128      ... |   1045.27 |         ... | +                                  | b128                ... |                |   1045.27 |          ... | 
-                                 | b256      ... |   1108.95 |         ... | +                                  | b256                ... |                |   1108.95 |          ... | 
-                                 | b512      ... |   1144.97 |         ... |+                                  | b512                ... |                |   1144.97 |          ... | 
 +| gpt-oss 20B MXFP4 MoE             | tg128  |              ... |                |     92.86 |          ... | 
 +| gpt-oss-20b-mxfp4.gguf            | tg256  |              ... |                |     92.69 |          ... | 
 +| //size: 11.27 GiB//               | tg512  |              ... |                |     88.17 |          ... | 
 +|                                   | b128                ... |                |   1036.08 |          ... | 
 +|                                   | b256                ... |                |   1452.01 |          ... | 
 +|                                   | b512                ... |                |   1744.71 |          ... | 
 +| gpt-oss 20B Q4_K - Medium         | tg128  |              ... |                |     98.05 |          ... | 
 +| gpt-oss-20b-UD-Q4_K_XL.gguf       | tg256  |              ... |                |     97.20 |          ... | 
 +| //size: 11.04 GiB//               | tg512  |              ... |                |     92.43 |          ... | 
 +|                                   | b128                ... |                |   1034.15 |          ... | 
 +|                                   | b256                ... |                |   1450.77 |          ... | 
 +|                                   | b512                ... |                |   1734.35 |          ... |
  
  
Ligne 286: Ligne 300:
 </code> </code>
  
-**Mais non**, ça a bien fonctionné avec ''llama-bench'' mais pas avec Yolo:+**Mais non**, ça a bien fonctionné avec ''llama-bench'' mais pas avec Yolo: 😩
  
 <code> <code>
Ligne 297: Ligne 311:
 </code> </code>
    
-===== Traduction ===== 
- 
-==== 1 phrase ==== 
- 
-Très rapide avec RTX 3060. 
- 
-''./build/bin/llama-cli -m ~/Data/AI_Models/EuroLLM-9B-Instruct-Q4_0.gguf -i'' 
- 
-Prompt: 
- 
-> french to english "C'est une occasion rare pour les élèves de pouvoir échanger sur les parcours de nos anciens élèves et ainsi, de répondre à de nombreuses questions voire à lever des freins." 
- 
-Replies: 
- 
-EuroLLM-9B-Instruct: 
-> "This is a rare opportunity for students to be able to discuss the career paths of our former students and, in doing so, to answer many questions and even remove some of the barriers they may be facing." 
- 
-EuroLLM-9B-q8_0: 
-> The provided text is in French and needs to be translated into English.  
-> I'll translate it step-by-step: 
-> 
-> 1. **Identify the source language:** The text is in French. 
-> 2. **Analyze the text:** The text appears to be a sentence describing an event or opportunity. It mentions "élèves" (students), "anciens élèves" (former students), and "lever des freins" (lifting barriers or obstacles). 
-> 3. **Translate each part:** 
->     * "C'est une occasion rare pour les élèves de pouvoir échanger sur les parcours de nos anciens élèves" translates to "This is a rare opportunity for students to be able to discuss the journeys of our former students." 
->     * "et ainsi, de répondre à de nombreuses questions voire à lever des freins" translates to "and thus, to answer many questions and even to lift barriers." 
-> 4. **Combine the translated parts:** The complete translation is: "This is a rare opportunity for students to be able to discuss the journeys of our former students and thus, to answer many questions and even to lift barriers." 
- 
- 
-Qwen2.5-coder-7b-instruct-q5_k_m : 
-> Here's the English translation: 
-> "It's a rare opportunity for students to exchange on the paths of our former students, thus being able to answer many questions or even overcome obstacles." 
-> This translation conveys the meaning that the situation being described is unusual and provides students with a valuable learning experience by allowing them to share and discuss the career paths of alumni, which can help them answer questions and potentially resolve challenges they may face in their own professional development. 
- 
-Qwen2.5-coder-7b-instruct-q8_0: 
-> Here's the English translation of the French sentence: 
-> "This is a rare opportunity for students to exchange about the paths of our former students, and thus, to answer many questions or even to overcome obstacles." 
-> This translation preserves the meaning and tone of the original French statement, highlighting the value of this unique educational experience. 
- 
-Qwen3-14B-UD-Q5_K_XL: 
-> //<think>// 
-> Okay, let's tackle this French to English translation. The user provided the sentence: “C'est une occasion rare pour les élèves de pouvoir échanger sur les parcours de nos anciens élèves et ainsi, de répondre à de nombreuses questions voire à lever des freins.”  
-> First, I need to understand the structure and meaning. The sentence starts with "C'est une occasion rare" which translates to "It's a rare opportunity." The subject is "les élèves" (the students), and the verb is "pouvoir échanger" (to be able to exchange). The object of the exchange is "les parcours de nos anciens élèves" (the paths/careers of our alumni). Then, the purpose is "de répondre à de nombreuses questions voire à lever des freins" (to answer many questions or even to remove barriers).  
-> Now, I should check for any nuances. "Parcours" here likely refers to career paths or journeys, not just physical paths. "Anciens élèves" is alumni, so "our alumni's paths" makes sense. "Répondre à de nombreuses questions" is straightforward: answer many questions. "Voire à lever des freins" – "voire" is like "or even," so "or even to remove barriers."  
-> I need to make sure the flow is natural in English. Maybe "a rare opportunity for students to exchange about the career paths of our alumni, and thus answer many questions or even overcome barriers."  
-> Wait, "échanger sur" could be "discuss" instead of "exchange about." Also, "lever des freins" – "freins" can mean barriers or brakes. In this context, it's more about barriers. "Overcome barriers" sounds better than "remove barriers."  
-> Putting it all together: "It's a rare opportunity for students to discuss the career paths of our alumni and thus answer many questions or even overcome barriers."  
-> I should check if "thus" is the best conjunction. "And thus" or "and thereby" might work. Alternatively, "thereby" could be more formal. Let me see. "And thus" is okay, but maybe "and thereby" sounds more academic.  
-> Another point: "pouvoir échanger" is "to be able to exchange," but in English, "to exchange" might not be the best term here. "Discuss" or "talk about" is more natural.  
-> So revised: "It's a rare opportunity for students to discuss the career paths of our alumni and thereby answer many questions or even overcome barriers."  
-> That seems accurate. Let me make sure there are no other nuances. The original sentence emphasizes that this opportunity is rare, which is captured. The purpose is to answer questions and overcome barriers, which is clear. I think that's a solid translation. 
-> //</think>// 
- 
-> It's a rare opportunity for students to discuss the career paths of our alumni and thereby answer many questions or even overcome barriers. 
- 
  
informatique/ai_lm/gpu_bench.1775123280.txt.gz · Dernière modification : de cyrille

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC0 1.0 Universal
CC0 1.0 Universal Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki