Gemma4が凄いよね。Draft modelサポートで更に凄い。

まあOllamaとかLMStudioが登場してからはご自宅でLLMを動かして遊ぶのが簡単になりましたが、皆様はどうお過ごしですか？

私は時々落ち込んだりもするけれど元気です。

LLMは前からちょいちょい試しては居ましたがやっぱり大手のモデルのほうが賢くていいよね！みたいなのが払拭されず、動いたけど遅いしあまりかしこくないし何に使えばええのじゃろ？みたいな感じでサービス化して常駐させることはほぼなかったのですが、まあ翻訳サービスだけは何度か作りました。でもやっぱり使わないのでサービス落ちてても気が付かず家族にも使ってもらえないという(´；ω；｀)。

でもGemma3が来たあたりからそんなに大したGPUじゃなくても使えるレベルのLLMが自宅で動いちゃいますからね。そしてGemma4がこれまた凄い。Qwenも良いんですが、こっちは割とGPUが良くないと真価を発揮しにくい、遅いというので私の場合はGemmaに落ち着く傾向です。

１２GBと１６GBしかメモリがないGPUたちで二台運用していますがGemma4 E4Bでも26BのdenseじゃなくてMoEだと速度もそこそこでるからどっちも同じくらいのレスポンスで26Bが多分ちょっと賢いけどあまり差が気にならないという感じでE4Bのコスパが本当にパネぇって感じ。因みに１２GBのGPUでデスクトップ環境も平行しているので控えめにQ5を使っているのですが軽いｗ

Q5_K_Vだと重みだけなら5.8GBで軽いので長めのコンテキストをサポートしてさらにYoutubeみてタブがごっそりあるBraveがあっても大丈夫という。

E4Bだと応答速度も10秒以内だしいいよなー。MoEの方は二倍くらい平均してかかるけど賢い可能性をちょい感じる。数字上は2割くらい賢いはず。MoEでも十分使える速度。

しかしいまグーグルが公式でだしてきたDraft modelをつかうMTPサポートがLlama.cppに実装中でして、これが楽しみ。MoEの方が1.5−2倍くらい速くなる可能性がある。

待ちきれなくってAtomicBot-aiのフォークでE4Bで遊んでみたらまあ多少速くなったっぽい。DraftのAcceptance rateが50−60％くらいだったので。

MoEでも試そうかなぁ。こっちのほうが恩恵あるはずだし。しかし正式版が来たらまた乗り換えだしなー。

というとりとめのない記事で無料版ココログを維持していきますぞ。