Hardware

Artificial Intelligence

論文翻訳品質確認をしてみたよ。

Hy-MT2-1.8Bの実力を測ってみたTencentが公開した中で、軽量モデルであるHy-MT2-1.8Bについて評価をしてみました。Tencentは中国企業の中でもかなり初期段階からDeepLearningの画像系処理でもろもろ取り組ん...
Artificial Intelligence

LFM2.5-8B-A1Bというモデルを見てみる

超高速に答えを返すモデルLFM2.5-8B-1Aはそのモデル名を見てわかるように、総パラメータ数は8B(実際は8.5B)、アクティブパラメータは1B(実際は1.5B)のMoE(Mixture of Experts)モデルです。実はこの前身と...
Artificial Intelligence

Hermes Agentでモデルを変更したいよ

今回は、Customモデルしか登録してない環境上でGemini APIの環境設定を追加しますです。環境設定まず、環境設定から修正します。$ vi ~/.hermes/.env$ vi ~/.hermes/.env以下の箇所、GOOGLE_A...
Artificial Intelligence

Hermes Agentなるものに触れてみたよ

最近いろいろささやかれてる中で、Hermes Agentというツールがあり、要はここ最近登場してるClaudeCodeだったり、Codexだったりーなものに似たようなものってざっくり理解してるのだけど、これを投入してみたなど。冒頭文を日本語...
Artificial Intelligence

override-tensorで、指定した層だけをCPUにオフロードする手法

うちのブログをご覧になってくださる人からフィードバックが!なかなか書きっぱなしでフィードバックが返ってこない私のこのブログなんですけれども、有難いことにX.comでディープラーニングモデルのことを色々リサーチなさってるきしださん(が当ブログ...
Hardware

ZABBIXでNVIDIA-GPUを監視する際の注意事項

ZABBIXでは、NVIDIA-GPUを監視することが可能なのは会社員時代からよく理解しているんですが、そのプラグインの設定がUbuntu側の仕様に沿ってないらしいので備忘録として掲示します。参考URLは以下の通りです。本記事で記述している...
Artificial Intelligence

ガチでスクラッチから作ってみたいそんなあなたに

今、X.com上でこんなリポジトリが盛り上がってます。これ、何が入ってるかと言いますと、スクラッチでTransformerを使用したLLMを事前学習から始めるためのキットが詰まっています。全体構成全体構成は以下のようになっています。trai...
Artificial Intelligence

Dify/llama.cppの利用は盲目的にはできない件

llama.cppの心得:同時接続数に気を付けようEmbeddingモデルを使う際、私はローカルSLMをよく利用します。理由は「レイテンシーが低いから」の1点に尽きます。API型LLMで実行する場合に比べて恐ろしく処理が速くなるんですね。ま...
日々徒然

docker-composeで作ったシステムをsystemd管轄下に置く

私はずっと大昔はKubernetesなんかを使っていたころもあったんですけど、今、実は docker-compose ぐらいしか触っておりませんで、加えて今はDockerエンジンこそPodmanではありますが、使ってる Docker-com...
Hardware

CPUを交換したよ

本日CPUを交換しました。左は既存であったIntel Xeon E5-1630v3、右は新しく載せ替えたIntel Xeon E5-2690v4です。ヤフオク!さんにて、なんと5,000円でXeon E5-2690v4を購入しました。新品当...