Artificial Intelligence override-tensorで、指定した層だけをCPUにオフロードする手法
うちのブログをご覧になってくださる人からフィードバックが！なかなか書きっぱなしでフィードバックが返ってこない私のこのブログなんですけれども、有難いことにX.comでディープラーニングモデルのことを色々リサーチなさってるきしださん(が当ブログ...
Artificial Intelligence 
昔取った杵柄 ZABBIXでNVIDIA-GPUを監視する際の注意事項
ZABBIXでは、NVIDIA-GPUを監視することが可能なのは会社員時代からよく理解しているんですが、そのプラグインの設定がUbuntu側の仕様に沿ってないらしいので備忘録として掲示します。参考URLは以下の通りです。本記事で記述している...
Artificial Intelligence ガチでスクラッチから作ってみたいそんなあなたに
今、X.com上でこんなリポジトリが盛り上がってます。これ、何が入ってるかと言いますと、スクラッチでTransformerを使用したLLMを事前学習から始めるためのキットが詰まっています。全体構成全体構成は以下のようになっています。trai...
Artificial Intelligence Dify/llama.cppの利用は盲目的にはできない件
llama.cppの心得：同時接続数に気を付けようEmbeddingモデルを使う際、私はローカルSLMをよく利用します。理由は「レイテンシーが低いから」の1点に尽きます。API型LLMで実行する場合に比べて恐ろしく処理が速くなるんですね。ま...
日々徒然 docker-composeで作ったシステムをsystemd管轄下に置く
私はずっと大昔はKubernetesなんかを使っていたころもあったんですけど、今、実は docker-compose ぐらいしか触っておりませんで、加えて今はDockerエンジンこそPodmanではありますが、使ってる Docker-com...
日々徒然 CPUを交換したよ
本日CPUを交換しました。左は既存であったIntel Xeon E5-1630v3、右は新しく載せ替えたIntel Xeon E5-2690v4です。ヤフオク！さんにて、なんと5,000円でXeon E5-2690v4を購入しました。新品当...
毒 社交辞令はいらないんだけど。
最近、薄っぺらい会話を好む人がそこそこいるようで、「今度お声がけしますね」的な一言とかはそれに入るのだけど。結局二度と声掛けされないというケースを今年に入ってから割と嫌になるぐらい遭遇している。「すごいですね」「いろいろ考えてますね」そんな...
Artificial Intelligence RTX3050で何ができるか？
安価なGPUでできることを模索してみる昨今Xを眺めていると、えらく高価なGPUでローカルLLMをぶん回してる話題がたくさん飛び交ってます。やれ、DGX-Spark(当初60万→現在100万ぐらい？)だの、RTX5080(20万円前後)だの、...
Artificial Intelligence 環境構築：CUDA入れていきましょ
とりあえずはCUDA導入に必要なことGPUはそろえたんで、次はそれを認識するための導入手順を抑えときましょということで書いています。必要な手順、実はここにだいたい書かれています。ほかのプラットフォーム・OSに関する情報もありますので、参考に...
Artificial Intelligence 環境構築:古いワークステーション仕入れました
PRIMERGY TX140S1には荷が重すぎたため、ひとまずつなぎとしてワークステーションを一台追加することにしました。今回追加したのは往年の名機（？）HP Z440です。本体メモリは8GBのECC Registered DDR4メモリを...