# M1/M2/M3 : augmentez l'allocation de VRAM avec `sudo sysctl iogpu.wired_limit_mb=12345` (c'est-à-dire le montant en Mo à allouer)
Canonical: https://social-archive.org/hanshelder/3Tx5jACYtG
Original URL: https://www.reddit.com/r/LocalLLaMA/comments/186phti/m1m2m3_increase_vram_allocation_with_sudo_sysctl/?tl=fr
Author: r/LocalLLaMA
Platform: reddit
Share mode: full
## Content
Si vous utilisez Metal pour faire fonctionner vos llms, vous avez peut-être remarqué que la quantité de VRAM disponible est d'environ 60% à 70% de la RAM totale - malgré l'architecture unique d'Apple qui permet de partager la même RAM haute vitesse entre le CPU et le GPU. Il s'avère que cette allocation de VRAM peut être contrôlée à l'exécution en utilisant `sudo sysctl iogpu.wired_limit_mb=12345` Voir ici : [https://github.com/ggerganov/llama.cpp/discussions/2182#discussioncomment-7698315](https://github.com/ggerganov/llama.cpp/discussions/2182#discussioncomment-7698315) Auparavant, on croyait que cela ne pouvait se faire qu'avec un patch du noyau - et cela nécessitait de désactiver une fonctionnalité de sécurité de macos... Et pour être franc, ce n'était pas génial. Cela rendra-t-il votre système moins stable ? Probablement. Le système d'exploitation aura besoin de RAM - et si vous allouez 100% à la VRAM, je prédis que vous rencontrerez un verrouillage total, un Beachball tournant, ou simplement un redémarrage du système. Donc faites attention à ne pas trop vous emporter. Cela dit, beaucoup pourront obtenir quelques gigas de plus de cette manière, permettant un quant légèrement plus grand, un contexte plus long, ou peut-être même la prochaine étape en taille de paramètre. Profitez-en ! **EDIT** : si vous avez un système m1/m2/m3 de 192 Go, pouvez-vous confirmer si cette astuce peut être utilisée pour récupérer environ 40 Go de VRAM ? Un boost de 40 Go est un sacré gros coup à mon avis. --- ## Comments > **farkinga** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kb9vlxn/?tl=fr) · 34 points > > Juste une note là-dessus... Tous les systèmes macos seraient les plus heureux d'avoir au moins 8 Go disponibles pour les trucs du système d'exploitation. > > Pour un système de 32 Go, le calcul ressemble à ceci : 32 Go - 8 Go = 24 Go. Pour moi, je peux gagner 2,2 Go de cette manière. Pas mal ! > > Pour ceux qui ont 192 Go - WOW. Tu passes d'**environ 140 Go de VRAM à 184 Go**. C'est une ÉNORME augmentation. Tant que tu gardes l'utilisation du reste de ton système sous contrôle, cette astuce a juste considérablement augmenté l'utilité de ces systèmes Metal haut de gamme. > > > **FlishFlashman** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbbayej/?tl=fr) · 4 points > > > > J'ai vérifié ce qu'était la mémoire câblée (mémoire qui ne peut pas être échangée) sans avoir de LLM chargé/à l'exécution et j'ai ensuite ajouté une marge à cela. J'ai fini par allouer 26,5 Go, contre 22,8 Go par défaut. > > > > Ça a fonctionné, mais pas de manière géniale parce que j'avais encore beaucoup d'autres trucs en cours sur mon Mac, donc (sans surprise) l'échange l'a ralenti. Pour quoi que ce soit de plus qu'un test de preuve de concept, je ferais éteindre tout ce qui est inutile. > > > > > **fallingdowndizzyvr** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbbg4fi/?tl=fr) · 6 points > > > > > > > J'ai fini par allouer 26,5 Go, contre 22,8 Go par défaut. > > > > > > Sur mon Mac de 32 Go, j'alloue 30 Go. > > > > > > > Ça a fonctionné, mais ce n'était pas génial car j'avais encore plein d'autres trucs qui tournaient sur mon Mac, donc (sans surprise) l'échange a ralenti les choses. Pour quoi que ce soit au-delà d'un test de preuve de concept, je fermerais tout ce qui est inutile. > > > > > > C'est ce que je fais et je n'ai pas d'échange du tout. J'ai listé les deux gros trucs à désactiver pour économiser de la RAM. Cherche "Je fais aussi ces quelques trucs pour économiser de la RAM." à mi-chemin du post. Ainsi, je peux tourner sans aucun échange, avec de la marge. L'utilisation maximale de la RAM est de 31,02 Go. > > > > > > [https://www.reddit.com/r/LocalLLaMA/comments/18674zd/macs\_with\_32gb\_of\_memory\_can\_run\_70b\_models\_with/](https://www.reddit.com/r/LocalLLaMA/comments/18674zd/macs_with_32gb_of_memory_can_run_70b_models_with/) > **bebopkim1372** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kba89hy/?tl=fr) · 23 points > > Mon Mac Studio M1 Max a 64 Go de RAM. En lançant `sudo sysctl iogpu.wired_limit_mb=57344`, ça a fait de la magie ! > > ggml\_metal\_init: allocation > ggml\_metal\_init: appareil trouvé : Apple M1 Max > ggml\_metal\_init: choix de l'appareil par défaut : Apple M1 Max > ggml\_metal\_init: default.metallib non trouvé, chargement à partir de la source > ggml\_metal\_init: chargement de '/Users/\*\*\*\*/\*\*\*\*/llama.cpp/ggml-metal.metal' > ggml\_metal\_init: nom du GPU : Apple M1 Max > ggml\_metal\_init: famille de GPU : MTLGPUFamilyApple7 (1007) > ggml\_metal\_init: hasUnifiedMemory = vrai > ggml\_metal\_init: recommendedMaxWorkingSetSize = 57344,00 MiB > ggml\_metal\_init: maxTransferRate = GPU intégré > > Youpi ! > > > **farkinga** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbae42l/?tl=fr) · 2 points > > > > Ouais ! C'est de ça que je parle. Tu te souviens de ce qu'il rapportait avant ? Si c'est comme le reste, je suppose qu'il disait quelque chose comme 40 ou 45 Go, non ? > > > > > **bebopkim1372** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbagekj/?tl=fr) · 6 points > > > > > > C'était 48 Go et maintenant je peux utiliser 12 Go de plus ! > > > > > > > **farkinga** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbagx1o/?tl=fr) · 3 points > > > > > > > > wow, c'est fou. C'est essentiellement comme ajouter une autre carte graphique... et cette carte graphique est en fait plutôt bonne, avec des vitesses de bus géniales... gratuitement ! > > > > > **CheatCodesOfLife** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbbt8oy/?tl=fr) · 2 points > > > > > > 64 Go M1 Max ici. Avant d'exécuter la commande, si j'essayais de charger goliath-120b : (47536,00 / 49152,00) - échoue > > > > > > Et après sudo sysctl iogpu.wired\_limit\_mb=57344 : (47536,00 / 57344,00) > > > > > > Donc je suppose que la valeur par défaut est : 49152 > > > > > > > **fallingdowndizzyvr** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbcdw1q/?tl=fr) · 1 points > > > > > > > > > 64 Go M1 Max ici. Avant d'exécuter la commande, si j'essayais de charger goliath-120b : (47536.00 / 49152.00) - échec > > > > > > > > Je me demande pourquoi ça a échoué. Ta limite est plus haute que la RAM nécessaire. Je tourne avec un écart plus serré et ça charge et fonctionne, (28738.98 / 30146.00). > > > > > > > > > Donc je suppose que la valeur par défaut est : 49152 > > > > > > > > C'est ça. Pour être plus clair, llama.cpp te dit quelle est la recommendedMaxWorkingSetSize. Ce qui devrait correspondre à ce nombre. > > > > > > > > > **bebopkim1372** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbcknz0/?tl=fr) · 1 points > > > > > > > > > > Peut-être que 47536 Mo est la taille nette du modèle. Pour l'inférence LLM, de la mémoire pour le contexte et de la mémoire cache contextuelle optionnelle sont également nécessaires. > > > > > > > > > > > **fallingdowndizzyvr** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbcm01q/?tl=fr) · 1 points > > > > > > > > > > > > Ils le sont. Si tu regardes ce que imprime llama.cpp, ça affiche tous les buffers qu'il essaie d'allouer. Et ça met à jour successivement le (X/Y) dont il a besoin. Est-ce que celui que tu as posté était juste le premier ? Le tout dernier avant qu'il ne se termine avec une erreur sera le plus informatif. Celui-là devrait avoir un X plus grand que Y. > > > > > **FlishFlashman** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbbb821/?tl=fr) · 1 points > > > > > > ≥64 Go permet à 75 % d'être utilisé par le GPU. ≤32 c'est ~66 %. Je ne suis pas sûr pour les machines de 36 Go. > **fallingdowndizzyvr** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbajtg3/?tl=fr) · 16 points > > Selon les derniers développements de cette discussion, "iogpu.wired\_limit\_mb" ne fonctionne que sur Sonoma. Donc si vous êtes sur une version plus ancienne de Mac OS, essayez "debug.iogpu.wired\_limit" à la place. > **CheatCodesOfLife** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbbt18b/?tl=fr) · 6 points > > Ça a totalement marché. Je peux maintenant faire tourner goliath 120b sur mon laptop M1 Max. Merci beaucoup. > > > **Zestyclose\_Yak\_3174** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbdwcb4/?tl=fr) · 1 points > > > > Quel quant as-tu utilisé et comment s'est passée ton expérience ? > > > > > **CheatCodesOfLife** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbdxo2g/?tl=fr) · 5 points > > > > > > 46G goliath-120b.Q2\_K > > > > > > Donc, le plus petit que j'ai trouvé (je ne l'ai pas quantifié moi-même, je l'ai trouvé quelque part sur HF) > > > > > > Et c'était très lent. environ 13t/s prompt\_eval et ensuite 2,5t/s génération de texte, donc vraiment utile pour moi seulement quand je dois l'exécuter sur mon ordinateur portable (je tourne à environ 15t/s avec le modèle 120b sur ma configuration 2x3090 à 3bpw exl2) > > > En ce qui concerne les modèles eux-mêmes, je l'aime beaucoup et je l'utilise fréquemment. > > > > > > Pour être honnête, ce truc de ram est plus utile pour moi parce que ça me permet d'exécuter des modèles Q5 70b au lieu de juste Q4 maintenant. > > > > > > > **ArthurAardvark** · [2024-03-07](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/ktpxa32/?tl=fr) · 1 points > > > > > > > > Ah. Alors tu vas aimer voir ça. > > > > > > > > [https://www.reddit.com/r/LocalLLaMA/comments/1al58xw/yet\_another\_state\_of\_the\_art\_in\_llm\_quantization/](https://www.reddit.com/r/LocalLLaMA/comments/1al58xw/yet_another_state_of_the_art_in_llm_quantization/) > > > > > > > > Et merci de m'avoir fait remarquer que je peux faire 120B lol > **bladeolson26** · [2024-01-09](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kh4fjdi/?tl=fr) · 3 points > > [u/farkinga](https://www.reddit.com/user/farkinga/) Merci pour ce post. J'ai un M2 Ultra avec 192 Go. Je vais essayer ça et partager les résultats. > > > **bladeolson26** · [2024-01-09](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kh4lk17/?tl=fr) · 4 points > > > > **Mon premier test, j'ai configuré en utilisant 64 Go** > > > > sudo sysctl iogpu.wired\_limit\_mb=65536 > > > > J'ai chargé Dolphin Mixtral 8X 7B Q5 (modèle 34 Go) > > > > Je lui ai donné ma demande de test et il m'a semblé rapide : > > > > > temps jusqu'au premier token : 1.99s > > > > > > génération t : 43.24s > > > > > > vitesse : 37.00 tok/s > > > > > > raison d'arrêt : terminé > > > > > > couches gpu : 1 > > > > > > threads cpu : 22 > > > > > > mlock : faux > > > > > > nombre de tokens : 1661/1500 > > > > **Ensuite, j'ai essayé 128 Go** > > > > sudo sysctl iogpu.wired\_limit\_mb=131072 > > > > J'ai chargé Goliath 120b Q4 (modèle 70 Go) > > > > Je lui ai donné ma demande de test et c'était plus lent à afficher > > > > > temps jusqu'au premier token : 3.88s > > > > > > génération t : 128.31s > > > > > > vitesse : 7.00 tok/s > > > > > > raison d'arrêt : terminé > > > > > > couches gpu : 1 > > > > > > threads cpu : 20 > > > > > > mlock : faux > > > > > > nombre de tokens : 1072/1500 > > > > **Troisième test, j'ai essayé 144 Go (laissant 48 Go pour l'opération du système d'exploitation 25%)** > > > > sudo sysctl iogpu.wired\_limit\_mb=147456 > > > > Comme prévu, résultats similaires. pas de plantages. > > > > **188 Go en laissant juste 8 Go pour le système d'exploitation, etc.** > > > > Ça fonctionne très bien. Je n'avais pas un modèle aussi grand cependant. > > > > **La demande que j'ai utilisée : Écrire un jeu de Pac-Man en Swift :** > > > > > le résultat du dernier Goliath à 188 Go > > > > > > temps jusqu'au premier token : 4.25s > > > > > > génération t : 167.94s > > > > > > vitesse : 7.00 tok/s > > > > > > raison d'arrêt : terminé > > > > > > couches gpu : 1 > > > > > > threads cpu : 20 > > > > > > mlock : faux > > > > > > nombre de tokens : 1275/1500 > > > > import UIKit > > > > class GameView: UIView { > > var pacmanImageView: UIImageView! > > var dotViews: \[DotView\] = \[\] > > var ghostImages: \[UIImage\]? = nil > > var scoreLabel: UILabel! > > > > override init(frame: CGRect) { > > super.init(frame: frame) > > > > pacmanImageView = UIImageView(image: #imageLiteral(resourceName: "Pacman")) > > addSubview(pacmanImageView) > > > > scoreLabel = UILabel(frame: .zero) > > scoreLabel.textAlignment = .center > > scoreLabel.font = .systemFont(ofSize: 24, weight: .bold) > > scoreLabel.textColor = .white > > addSubview(scoreLabel)rangle(#imageLiteral(resourceName: "Pacman"))) > > > > setupGame() > > } > > > > private func setupGame() { > > for i in 0..<9 { > > let dotView = DotView(tag: i) > > addSubview(dotView) > > dotViews.append(dotView) > > > > if i % 3 == 0 && i != 8 { > > let spaceView = UIView() > > spaceView.frame.size.height = frame.height / 15 \* 2 > > addSubview(spaceView) > > } > > } > > > > scoreLabel.text = "Score : 0" > > } > > > > private func movePacman(\_ direction: Direction) { > > var newFrame = pacmanImageView.frame > > > > switch direction { > > case .up: > > if newFrame.minY > frame.origin.y { > > newFrame.origin.y -= newFrame.height / 2 > > } > > > > case .down: > > if newFrame.maxY < frame.size.height - frame.origin.y - newFrame.height / 2 { > > newFrame.origin.y += newFrame.height / 2 > > } > > > > case .left: > > if newFrame.minX > frame.origin.x { > > newFrame.origin.x -= newFrame.width / 2 > > } > > > > case .right: > > if newFrame.maxX < frame.size.width - frame.origin.x - newBoardView.frame.width / 2 { > > newFrame.origin.x += newBoardView.frame.width / 2 > > } > > } > > > > pacmanImageView.frame = newFrame > > } > > > > func gameLogic() { > > // Implémentez votre logique de jeu ici : > > // - Détecter les collisions avec les points et les fantômes > > // - Mettre à jour le score > > // - Déplacer Pac-Man et les fantômes > > // - Générer de nouveaux points > > } > > } > > > > class DotView: UIView { > > var isEaten = false > > > > override init(frame: CGRect) { > > super.init(frame: frame) > > > > backgroundColor = .systemGreen > > layer.cornerRadius = 10 > > isUserInteractionEnabled = true > > > > let tapGesture = UITapGestureRecognizer(target: self, action: #selector(eatDot)) > > addGestureRecognizer(tapGesture) > > } > > > > @objc func eatDot() { > > if !isEaten { > > isEaten = true > > backgroundColor = .systemOrange > > > > // Diminuer le score et mettre à jour l'étiquette > > > > // Vérifier les conditions de fin de jeu > > } > > } > > > > required init?(coder: NSCoder) { > > super.init(coder: coder) > > } > > } > > > > enum Direction { > > case up, down, left, right > > } > > > > > **farkinga** · [2024-01-10](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kh4s650/?tl=fr) · 2 points > > > > > > Omg, je suis vraiment excité que ça fonctionne avec juste 8 Go réservés pour le système. C'est tellement de VRAM en plus - gratuitement ! > > > > > > Merci d'avoir essayé à différents niveaux. Je doute que ça soit vu ici ; pense à poster en tant que nouveau fil. > > > > > > > **bladeolson26** · [2024-01-10](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kh4w3hg/?tl=fr) · 2 points > > > > > > > > Oui, je suis excité aussi. Maintenant, je pense à toutes les choses à essayer avec ça. Pas seulement des LMs. Que dire du moteur UNREAL ou d'autres applis lourdes en GPU ? J'ai posté en tant que nouveau fil pour que d'autres puissent voir comment le faire. C'est incroyablement facile > > > > > **krishnakaasyap** · [2024-01-11](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/khei6k6/?tl=fr) · 2 points > > > > > > C'est génial, camarade Redditor ! Mais quelles seraient les stats si tu utilisais toutes les couches GPU et les cœurs NPU ? Cela améliorerait-il le temps jusqu'au premier jeton et le nombre de jetons par seconde ? J'aimerais en savoir plus sur le Mac Studio M2 Ultra de 192 Go en tant que serveur pour l'inférence de grands modèles de langage (LLMs). Où puis-je trouver plus d'infos intéressantes, comme ton commentaire ? > **kkb294** · [2025-04-12](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mmqsz8i/?tl=fr) · 3 points > > J'ai augmenté l'allocation de VRAM à 40 Go depuis les 36 Go par défaut. Merci pour le post 😀.! > > ![Image de commentaire](https://cf.preview.redd.it/m1-m2-m3-increase-vram-allocation-with-sudo-sysctl-iogpu-v0-9wjusa2d7fue1.png?width=1938&format=png&auto=webp&s=648fd28476741af8412e17cbbfcd33221088a5ec) > > > **hakyim** · [2025-05-16](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/msjnvff/?tl=fr) · 1 points > > > > comment obtiens-tu ces informations sur les ressources système ? > > > > > **kkb294** · [2025-05-16](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mskpj0y/?tl=fr) · 2 points > > > > > > Il est disponible dans l'interface utilisateur de LM Studio. > > > > > > > **hakyim** · [2025-05-16](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mskq5rm/?tl=fr) · 1 points > > > > > > > > Génial. Merci. > **Zugzwang\_CYOA** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbc7rl2/?tl=fr) · 2 points > > Quel est le temps de traitement des prompts sur un Mac ? Si je devais travailler avec un prompt de 8k pour RP, avec de grands changements fréquents dans le prompt, serait-il capable de lire mon prompt en constante évolution de manière opportune et de répondre ? > > Je voudrais utiliser Sillytavern comme mon interface, et cela peut entraîner de gros changements de prompt entre les réponses. > > > **bebopkim1372** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbcfq6l/?tl=fr) · 5 points > > > > Pour le M1, quand les évaluations des prompts se font, l'opération BLAS est utilisée et la vitesse est terrible. J'ai aussi un PC avec une 4060 Ti 16 Go, et cuBLAS est la vitesse de la lumière comparée à la vitesse de BLAS sur mon M1 Max. Les vitesses BLAS pour des modèles de moins de 30 Go sont acceptables, mais au-delà de 30 Go, c'est vraiment lent. > > > > > **Zugzwang\_CYOA** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbck6l5/?tl=fr) · 0 points > > > > > > C'est bon à savoir. On dirait que les Mac sont excellents pour poser des questions simples à des LLM puissants, mais pas très bons pour le jeu de rôle avec de grandes histoires contextuelles. J'avais espéré qu'un M2 Max serait viable pour le RP à 70b ou 120b, mais je suppose que non. > > > > > > > **bebopkim1372** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbclrqm/?tl=fr) · 2 points > > > > > > > > J'utilise koboldcpp et il met en cache le résultat de l'évaluation des invites, donc si tes actions de changement d'invite ajoutent du nouveau contenu à la fin de l'invite précédente, ça ira, car koboldcpp effectue l'évaluation des invites uniquement pour le nouveau contenu ajouté bien qu'il soit toujours lent pour les modèles de taille 30B ou plus. Si ton changement d'invite modifie le contexte au milieu, beaucoup de parties du cache seront inutiles et il y aura plus d'évaluations d'invite nécessaires, donc ce sera très lent. > > > > > > > > > **Zugzwang\_CYOA** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbctwy7/?tl=fr) · 1 points > > > > > > > > > > La façon dont j'utilise Sillytavern pour le jeu de rôle implique beaucoup d'informations d'entrée de monde. Les entrées de monde sont insérées dans l'invite lorsqu'elles sont déclenchées par des mots-clés, et j'utilise beaucoup de ces entrées pour construire le monde. Ces mêmes entrées de monde disparaissent de l'invite lorsqu'elles ne sont pas évoquées. Je fais aussi parfois des chats de groupe avec plusieurs personnages. Dans ces cas, toute la carte du personnage précédent disparaîtrait de l'invite, et une nouvelle carte de personnage apparaîtrait à sa place lorsque le prochain personnage prend la parole. C'est pourquoi mes invites ont tendance à être en constante évolution. > > > > > > > > > > Donc, à moins que le cache ne garde des informations des invites précédentes, il semble que je devrais réévaluer en continu à chaque réponse. > > > > > > > > > > Je suppose que ce serait différent s'il stockait des informations des invites précédentes, car cela me permettrait d'alterner entre les personnages parlant ou de déclencher une entrée de monde utilisée auparavant sans avoir à réévaluer à chaque fois. > > > > > > > > > > Mais avec ma 3060 de 12 Go actuelle, les modèles quantifiés de 13b s'interfacent si rapidement que je n'ai même pas pris la peine de noter le temps d'évaluation de l'invite, même avec un contexte de 6-8k, et il semble que le M2 max studio avec 96 Go ne pourra pas permettre ce genre de chose à 70b comme j'espérais à l'origine. > > > > > > > > > > Merci pour vos réponses. Elles ont été utiles. > > > > > > > > > > > **bebopkim1372** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbe6b0c/?tl=fr) · 1 points > > > > > > > > > > > > Pour les utilisateurs de RP intensif comme toi, je pense que plusieurs 3090 seront les mieux pour de très grands LLMs. > > > > > > > **mathewjmm** · [2025-06-18](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mydq2ve/?tl=fr) · 1 points > > > > > > > > Je dirais aussi que cela dépend des augmentations que le système permet. Par exemple, LM Studio -et d'autres que j'oublie- n'utilisent pas les RAGs. J'ai vite compris que mes histoires allaient toujours être limitées par les fenêtres de contexte. Donc j'ai dû inventer les miennes : > > > > > > > > [https://github.com/milljm/dynamic-rag-chat](https://github.com/milljm/dynamic-rag-chat) > > > > > > > > Je m'éclate à apprendre/expérimenter avec les filtres de champ, les poids de champ, la gestion des tokens de contexte dans le domaine des LLMs/RAGs... tout en faisant avancer une histoire. Mixtral 8x22 est un vrai poète. Et si vous avez le matériel, Llama4:Maverick fait un bon conteur qui obéit à mon système de méta\_tagging (nécessaire pour la narration, les arcs narratifs). > **guymadison42** · [2024-10-03](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/lq7zpet/?tl=fr) · 2 points > > Je compile LLVM avec un système de 32 Go, la mémoire câblée est d'environ 8 Go. Ce sont 8 Go que mon système ne peut pas atteindre, ça a toujours été un problème avec Metal depuis 2012. > > Je suis vraiment surpris que ça n'ait jamais été corrigé. > **shahmeer5** · [2025-04-17](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mnk2l3e/?tl=fr) · 2 points > > Est-ce que ça affecte les performances en jeu en utilisant Crossover ou les versions natives ? > > PS : pour obtenir la valeur actuelle, utilise : `sudo sysctl iogpu` > **mathewjmm** · [2025-06-18](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mydnoh3/?tl=fr) · 2 points > > Si cela n'a pas déjà été mentionné : > > Pour ceux qui ont des modèles M3 512 Go : > > sudo sysctl iogpu.wired\_limit\_mb=516100 > > Cela permettra 8 Go pour le système (une exigence tacite de MacOS) et 504 Go pour la VRAM. > **Fun\_Huckleberry\_7781** · [2024-08-08](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/lh4sdj0/?tl=fr) · 1 points > > Comment puis-je vérifier si les changements ont fonctionné ? J'ai fait le code initial et il a dit qu'il était initialement réglé sur 0. > > > **farkinga** · [2024-08-08](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/lh5a9xh/?tl=fr) · 1 points > > > > Une façon dont j'ai vérifié est à travers la sortie de diagnostic de llama.cpp. Cela rapporte la vram disponible ainsi que la taille du modèle et combien de vram il nécessite. > > > > J'ai 32 Go au total et je pense que la disponibilité par défaut est d'environ 22 Go. Donc, je peux facilement augmenter à 26 Go et je vois la différence immédiatement lorsque je lance llama.cpp - la vram disponible sera rapportée comme 26 Go. > **Gold\_Bee2694** · [2025-03-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mkj8uur/?tl=fr) · 1 points > > J'ai un MacBook Pro avec un CPU M4 pro 14 cœurs et un GPU 20 cœurs et 24 Go de RAM, et je veux exécuter des modèles de codage dans lm studio, alors je me demande si c'est une bonne idée de changer la VRAM de 16 Go à 18 ou peut-être 20 Go. > > > **farkinga** · [2025-03-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mkjdv02/?tl=fr) · 1 points > > > > 24 Go de RAM n'est pas une configuration typique pour le matériel Apple, mais c'est une allocation de VRAM plausible pour un système de 32 Go de RAM. Vérifie encore ; tu pourrais avoir 32 Go de RAM. > > > > Sur une configuration M1 de 32 Go, j'ai alloué jusqu'à 26 Go à la VRAM et utilisé ça pour faire tourner des LLM - mais 24 Go, c'est encore plus sûr. > > > > > **Gold\_Bee2694** · [2025-03-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mkjea06/?tl=fr) · 1 points > > > > > > Je ne sais pas pourquoi ils ont changé ça en 24 Go de RAM, mais c'est devenu une réalité maintenant : [https://www.apple.com/de/shop/buy-mac/macbook-pro/16%22-space-schwarz-standard-display-apple-m4-pro-mit-14-core-cpu-und-20-core-gpu-24-gb-arbeitsspeicher-512gb#](https://www.apple.com/de/shop/buy-mac/macbook-pro/16%22-space-schwarz-standard-display-apple-m4-pro-mit-14-core-cpu-und-20-core-gpu-24-gb-arbeitsspeicher-512gb#) > > > > > > > **farkinga** · [2025-03-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mkjf6op/?tl=fr) · 2 points > > > > > > > > Hmmm... c'est juste - merci pour le lien. Eh bien, c'est serré, mais deux choses qui vont aider sont : > > > > > > > > - assure-toi que rien d'autre ne tourne ; ferme tout dans le dock et la barre de menus ; il y a des guides qui expliquent comment faire ça > > > > - considère llama.cpp au lieu de LM Studio pour réduire un peu les besoins en RAM (il faut toujours faire tourner terminal.app, mais c'est assez léger) > > > > > > > > Je parie que tu pourrais faire tourner ton système sur 4 Go si tu faisais juste tourner terminal et llama.cpp. Ça veut dire que tu pourrais essayer d'allouer 20 Go à la VRAM. Et tu pourrais aussi essayer LMStudio d'abord, c'est plus simple. > > > > > > > > Eh, le pire qui puisse arriver, c'est que tu redémarres ; ce n'est pas un changement permanent et ça se réinitialise automatiquement au redémarrage. > > > > > > > > > **Gold\_Bee2694** · [2025-03-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/mkjpc8m/?tl=fr) · 1 points > > > > > > > > > > Ok merci beaucoup, je vais essayer ça > **Jelegend** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbd50jt/?tl=fr) · 1 points > > J'obtiens l'erreur suivante en exécutant cette commande sur Mac Studio M2 Max avec 64 Go de RAM > > sysctl : oid inconnu 'iogpu.wired\_limit\_mb' > > Quelqu'un peut-il m'aider ici sur ce que je dois faire ? > > > **LoSboccacc** · [2023-12-01](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbj57ha/?tl=fr) · 3 points > > > > Les anciens OS utilisent debug.iogpu.wired\_limit > > > > **bebopkim1372** · [2023-11-30](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbe63gg/?tl=fr) · 2 points > > > > Tu utilises macOS Sonoma ? Le mien est Sonoma 14.1.1 - Version du noyau Darwin 23.1.0 : lun. 9 oct. 21:27:24 PDT 2023 ; root:xnu-10002.41.9~6/RELEASE\_ARM64\_T6000 arm64. > **spiffco7** · [2023-12-02](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbqqpoz/?tl=fr) · 1 points > > C'est une nouvelle qui sauve des vies. Merci. > **Agusx1211** · [2023-11-29](https://reddit.com/r/LocalLLaMA/comments/186phti/comment/kbal0nr/?tl=fr) · 0 points > > wtf