Si vous utilisez Metal pour faire fonctionner vos llms, vous avez peut-être remarqué que la quantité de VRAM disponible est d'environ 60% à 70% de la RAM totale - malgré l'architecture unique d'Apple qui permet de partager la même RAM haute vitesse entre le CPU et le GPU.
Il s'avère que cette allocation de VRAM peut être contrôlée à l'exécution en utilisant sudo sysctl iogpu.wired_limit_mb=12345
Voir ici : [https://github.com/ggerganov/llama.cpp/discussions/2182#discussioncomment-7698315](https://github.com/ggerganov/llama.cpp/discussions/2182#discussioncomment-7698315)
Auparavant, on croyait que cela ne pouvait se faire qu'avec un patch du noyau - et cela nécessitait de désactiver une fonctionnalité de sécurité de macos... Et pour être franc, ce n'était pas génial.
Cela rendra-t-il votre système moins stable ? Probablement.