Difyを基本構成したときのリソース消費

昔取った杵柄

なぁーにぃー?やっちまったな!

さぁ、無謀にも12年前の2014年にヤフオクで購入した、PRIMERGY TX140 S1に対して、Difyというツールをインストールしました。一応動きましたのよ。実家の屋根裏部屋で40度を超す熱気の中10年以上動き続けたのちに1年間停止しっぱなしのこのマシン、ほんと大丈夫か?と思いましたが、あっさり動きましたし、Warningランプの点灯もなく。

なお、意外だったのは、今回Docker-CEではなくPodmanで実行することにしたのですが、Podmanに適用するComposerはPodman-ComposeよりはDocker-Compose-v2のほうがいいようです。Podman-ComposeとDocker-Compose-v2の使用に差異があることが原因のようで、Podman-Dockerを使ってラッピングした状態でDocker-Compose-v2を使うことが望ましいみたいですね。

Docker-Compose-v2をインストールするとdockerグループもできますし、そのグループに自ユーザをgroupaddコマンドで足してあげればユーザ権限でもちゃんとDockerコマンドを実質的にPodmanで動かしてくれるようになります。良きかな。

なお、CPUはよくよく調べるとXeon E3-1220(Sandy Bridge Core)に加え、メモリはDDR-3 32GB、ストレージは1TB SATA x2(RAID1)+ 3TB SATA x2(RAID1)の構成でした。す・て・きw

ほんと、ストレージに至っては何年動かしてたのか記憶にございませんw

リソース使用状況(ベース状態)

その際のリソース消費状況についてザックリ書きました。
この時のDifyバージョンは、1.13.3、プラグインにはAOAIプラグイン、Gemini APIプラグインを入れただけの状態でアプリケーションは一切作成していません。

CPU消費ですが、思った通りかなりの負荷がかかっています。よくぞこれだけのコンテナを一斉に動かせたもんだとびっくり。

RAM消費を見るとこんな感じですわ。
やっぱり以前よりもベースの要求メモリ量が増えていますね。

ちなみに0.x系のころだと16GB超えるのも相当難しいぐらいにはリソース消費は少なかったはず。

今回、この環境を使用してうまいことお手軽AI環境を構築し、いろんな情報収集を行っていく(生活も技術的な話も両方含めて)ことが目的で、これまで私の手足として動いてくれた技術の一つですから、そこを立て直していくのが第一目標となっており、とりあえず以前と変わらずコツコツやるだけなのです。

ただ、同時にその先、Difyにいつまでも頼るのはよろしくないとも感じていて。
自力で何かが組めるというレベルまで行けたら嬉しいなとは思っています。でもそれ以前にやりたかったことってローカルLLMなのですよね。どんなふうにメモリを確保し、どんな風に動かすような仕組みがあるのか、少しずつ追跡していきたいと思います。

私は天才でも秀才でもありません。ただただ経験を積み上げて技術をなぞるだけの人です。
でもそれでも利用局面はあるようです。いろいろわからないことは知りたいし、やりたいことはやりたいんで、それをそのままじっくり進めていくのみです。

どぞ、今後ともよろしくお願いします。

コメント

タイトルとURLをコピーしました