私は時々落ち込んだりもするけれど元気です。

LLMは前からちょいちょい試しては居ましたがやっぱり大手のモデルのほうが賢くていいよね！みたいなのが払拭されず、動いたけど遅いしあまりかしこくないし何に使えばええのじゃろ？みたいな感じでサービス化して常駐させることはほぼなかったのですが、まあ翻訳サービスだけは何度か作りました。でもやっぱり使わないのでサービス落ちてても気が付かず家族にも使ってもらえないという(´；ω；｀)。

でもGemma3が来たあたりからそんなに大したGPUじゃなくても使えるレベルのLLMが自宅で動いちゃいますからね。そしてGemma4がこれまた凄い。Qwenも良いんですが、こっちは割とGPUが良くないと真価を発揮しにくい、遅いというので私の場合はGemmaに落ち着く傾向です。

１２GBと１６GBしかメモリがないGPUたちで二台運用していますがGemma4 E4Bでも26BのdenseじゃなくてMoEだと速度もそこそこでるからどっちも同じくらいのレスポンスで26Bが多分ちょっと賢いけどあまり差が気にならないという感じでE4Bのコスパが本当にパネぇって感じ。因みに１２GBのGPUでデスクトップ環境も平行しているので控えめにQ5を使っているのですが軽いｗ

Q5_K_Vだと重みだけなら5.8GBで軽いので長めのコンテキストをサポートしてさらにYoutubeみてタブがごっそりあるBraveがあっても大丈夫という。

E4Bだと応答速度も10秒以内だしいいよなー。MoEの方は二倍くらい平均してかかるけど賢い可能性をちょい感じる。数字上は2割くらい賢いはず。MoEでも十分使える速度。

しかしいまグーグルが公式でだしてきたDraft modelをつかうMTPサポートがLlama.cppに実装中でして、これが楽しみ。MoEの方が1.5−2倍くらい速くなる可能性がある。

待ちきれなくってAtomicBot-aiのフォークでE4Bで遊んでみたらまあ多少速くなったっぽい。DraftのAcceptance rateが50−60％くらいだったので。

MoEでも試そうかなぁ。こっちのほうが恩恵あるはずだし。しかし正式版が来たらまた乗り換えだしなー。

というとりとめのない記事で無料版ココログを維持していきますぞ。

に行き、見たい動画のURLを取得する。

例えば

https://rumble.com/v71wa2g-the-daily-herold-tuesday-11182025-comey-congress-and-crypto.html?e9s=src_v1_cbl%2Csrc_v1_ucp_a

yt-dlpを使いこれをmp3としてダウンロード

yt-dpl -x --audio-format mp3 https://rumble.com/v71wa2g-the-daily-herold-tuesday-11182025-comey-congress-and-crypto.html?e9s=src_v1_cbl%2Csrc_v1_ucp_a

できたオーディオファイルをNotebookLMのソースとしてぶっこむ

サマリーと会話の書き起こしができるのでそれを見ながら動画をみたり、AIに質問したり、日本語版のポッドキャストにしてもらったりする。

応用編としてwhisperxなどのツールでmp3からsrt字幕ファイルを作ることができる。その字幕をAIに翻訳させてそれをyt-dplで-xつけないで普通んmp4としてダウンロードしてsrtと一緒に動画プレーヤーで開いて翻訳された字幕付きでみることもできる。

すかす、11ヶ月も記事を書いてないからなにか書かねばならぬ。

まあ、AIで作ったんじゃないかと思われる音楽でも貼ってお茶を濁すか。
最近の作曲AIはかなり良い。YoutubeとかのBGならこういうので良いよな。

以上