informatique:ai_lm
Différences
Ci-dessous, les différences entre deux révisions de la page.
| Les deux révisions précédentesRévision précédenteProchaine révision | Révision précédente | ||
| informatique:ai_lm [09/06/2026 14:18] – [Compilation pour GPU] cyrille | informatique:ai_lm [23/06/2026 05:40] (Version actuelle) – [Compilation pour GPU] cyrille | ||
|---|---|---|---|
| Ligne 265: | Ligne 265: | ||
| # RTX 5060 : 120 | # RTX 5060 : 120 | ||
| - | $ export CUDA_VERSION=12.9 | + | $ export CUDA_VERSION=12.9 |
| + | $ export CUDA_VERSION=13.3 | ||
| + | $ cmake -B build -DGGML_CUDA=ON \ | ||
| | | ||
| | | ||
| Ligne 287: | Ligne 289: | ||
| -- Build files have been written to: / | -- Build files have been written to: / | ||
| - | $ time cmake --build build --config Release -j 10 | + | $ time cmake --build build --clean-first |
| # host: i7-1360P + SSD | # host: i7-1360P + SSD | ||
| Ligne 308: | Ligne 310: | ||
| user 27m13.877s | user 27m13.877s | ||
| sys 1m24.687s | sys 1m24.687s | ||
| - | </ | ||
| - | |||
| - | Avec CUDA 13.1 llama.cpp plante direct à la 1ère requête, mais sans message dans syslog : ce n'est donc pas le driver mais le logiciel llama.cpp qui ne support pas cette version de CUDA : | ||
| - | < | ||
| - | / | ||
| - | CUDA error: invalid argument | ||
| - | current device: 0, in function ggml_cuda_mul_mat_q at / | ||
| </ | </ | ||
| Ligne 486: | Ligne 481: | ||
| https:// | https:// | ||
| + | ===== Réduction de tokens ===== | ||
| + | |||
| + | Headroom | ||
| + | * Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 60-95% fewer tokens, same answers. Library, proxy, MCP server. | ||
| + | * https:// | ||
| + | * https:// | ||
| + | * https:// | ||
| + | |||
| + | RTK | ||
| + | * CLI proxy that reduces LLM token consumption by 60-90% on common dev commands. Single Rust binary, zero dependencies | ||
| + | * https:// | ||
| + | * https:// | ||
| + | |||
| + | Openwolf | ||
| + | * Sharper context. Fewer tokens. Open-source middleware for Claude Code. | ||
| + | * https:// | ||
| + | * https:// | ||
informatique/ai_lm.1781007499.txt.gz · Dernière modification : de cyrille
