iwashi / Yoshimasa Iwase on x

yena shared this post · 7h ago

ローカルLLMをガンガン使っている方のポストだった。

・記事の筆者は、ローカルLLMの登場初期からそれらを使用しており、最近になって驚くほど性能が向上したと感じている

・使用環境は64GBのメモリと1TBのストレージを搭載した2022年製のM2 Mac

・これまでにMistral 7BやGemma 3、Qwen 3 MOEなど、多岐にわたるモデルを試してきた

・実行環境としても、llama.cppやOllama、LM Studioなど様々なツールを活用している

・初期のローカルモデルは動作が遅く、プログラミングのタスクには精度が不十分であった

・しかし、GPT-OSSの登場によりAPIモデルでのダブルチェックが不要になり始め、実用性が大きく向上した

・現在は主に、最新情報を必要としない開発時の個人的な検索ツールとしてローカルモデルを利用している

・特にGoogleのGemma 4シリーズの登場により、ローカル環境での自律的なコーディングが可能になった

・最先端の商用モデルと比較しても、約75パーセントの精度と速度でエージェントのループ処理が機能する

・筆者のデフォルトモデルは、LM Studioで動かすgemma-4-26b-a4b

・実際の用途としては、Pythonスクリプトのリファクタリングやtypeヒントの修正など

・ブログ記事の校正やユニットテストの作成、さらには推薦モデルのリポジトリ構築なども行なっている

・わずか半年前のローカルモデルでは、単純なタスクでさえ実行不可能であった

・最近リリースされたgemma-4-12b-qatは、サイズが小さいにもかかわらず非常に優れたパフォーマンスを発揮している

（あとはハーネスとしてPiを使っている話など）