Artificial Intelligence GPT-5.6-Terraに触れてみたよ
無印/mini/nanoぢゃなくなったのね本日何気なくAI FoundryのAzure OpenAI Servicesに触れてみると、GPT-5.6が触れるようになってました。コンテキストサイズは1Mまでいけそうで、クォータサイズも初期値は...
models
Artificial Intelligence 
Artificial Intelligence Gemma-4-12b-it Audio Transcriptを試す
Llama.cpp付属のWeb-UIで実現可能Gemma-4-12b-itでは、それまで外付けエンコーダーを必要としていたものがモデルの中に組み込まれ、特に意識することなくオーディオ書き取りが行えます。私がオーディオ書き取りの機能をモデルを...
Artificial Intelligence 時代とともに変化するAttentionブロックの構造
あの頃、人工知能チャットと言うものの登場に歓喜したころChatGPTが話題に上がったのがちょうど2022年後半のこと。翌年2023年にはいろいろなモデルが登場し、その中でニューラルネットワーク構造も大きく様変わりしたといわれています。私自身...
Artificial Intelligence 勉強会なるものに行ってきたよ！
オフサイトで勉強会に行くのは何年ぶりだろうかこれに行ってきましたです。開発者視点のローカルLLMはどう見えてるのか？と言うのが気になりました。福岡でも有名なエンジニアさんであるきしだ(@kis)さんが主宰されており、会場は博多駅から近いLI...
Artificial Intelligence RTX3060とGemma-4-12b
GeForce RTX 3060は意外にやる子過日、まさかの3万YEN切る価格で入手したRTX 3060ですが、実は以前会社員時代に最初に会社で購入したGPUでもあります。2022年当時の相場だとおよそ80,000JPYでしたね。このころは...
Artificial Intelligence LFM2.5-8B-A1Bというモデルを見てみる
超高速に答えを返すモデルLFM2.5-8B-1Aはそのモデル名を見てわかるように、総パラメータ数は8B(実際は8.5B)、アクティブパラメータは1B(実際は1.5B)のMoE（Mixture of Experts）モデルです。実はこの前身と...
Artificial Intelligence アーキテクチャの違いで何が変わるのか？
アーキテクチャの違いで言語モデルの動きに差が出るのか？というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...
Artificial Intelligence llm-jp-4のアーキテクチャ
llm-jpってコミュニティをご存じでしょうか？llm-jpとは、大規模言語モデル研究開発センターが主宰する研究者のコミュニティ名であり、かつ、日本発LLM開発プロジェクトの名称を指します。前職の会社でGPUについての調査検証をしていたころ...
Artificial Intelligence Gemma4-E2Bの動きを再度見る(CPU編)
以前「Gemma-4がでた」という記事を書いたんですが、この時VMに対して割り当てるCPU数を2に制約してたので、今回このCPU数を3に増やしてちょっと実行してみました。再推論したらこの通り、300%近傍まで負荷を上昇させることができました...
Artificial Intelligence Gemma-4がでた
気持ち的にはタイトルにも「！」をつけたい！一時は「出る出る詐欺」とまで言われてたGemma-4がついに2026年4月3日にリリースされてたということで、朝からアゲアゲです。私この執筆をAM5時から開始しています。 にて紹介が書かれてましたの...