Artificial Intelligence メモリの帯域は馬鹿にならない
ローカルLLMを動かすときの重要なカギ：メモリ帯域ローカルLLMやSLMを使用するとき、皆さんはどういうグラフィックボードを使用されるのでしょう？大体は安価な製品なちょい古めの・・そう、例えばRTX3060-12GBみたいなものを使って動か...
Hardware
Artificial Intelligence 
Artificial Intelligence 機密情報を外に漏らさぬために
こんなXでのポストを目にしました。AIに個人情報を入れまくってたら人生が終わりかけた話昨今、これはフィクションだ！という人もいらっしゃるようですが、それ以上に重要なのは「そうならないようにちゃんと周辺コンポーネント含めて情報見てる？」ってこ...
Artificial Intelligence モデルの構造をも少し細かく覗く
再掲：Qwen3.5-Denseモデルを例に以下は、Qwen3.5モデルの1例をとってその構造を描いてみたのですが、実際のところどういう風にソースなどでは表現されているのでしょうか？Qwen3.5-2Bのニューラルネットワークソースで見たい...
Artificial Intelligence 延々と「ちょまてよ！」を繰り返すQwen3.5
今日、半分試運転の意味でllama.cppを自宅マシンに突っ込みまして。そしてQwen3.5-2Bモデルをぶち込んでみました。ざっくり速度評価：正直奇跡だと思った今回の場合、大体トークン処理速度は 6 toks/s なので決して遅くはないで...