Artificial Intelligence Dify/llama.cppの利用は盲目的にはできない件
llama.cppの心得：同時接続数に気を付けようEmbeddingモデルを使う際、私はローカルSLMをよく利用します。理由は「レイテンシーが低いから」の1点に尽きます。API型LLMで実行する場合に比べて恐ろしく処理が速くなるんですね。ま...
Artificial Intelligence 
日々徒然 docker-composeで作ったシステムをsystemd管轄下に置く
私はずっと大昔はKubernetesなんかを使っていたころもあったんですけど、今、実は docker-compose ぐらいしか触っておりませんで、加えて今はDockerエンジンこそPodmanではありますが、使ってる Docker-com...
日々徒然 CPUを交換したよ
本日CPUを交換しました。左は既存であったIntel Xeon E5-1630v3、右は新しく載せ替えたIntel Xeon E5-2690v4です。ヤフオク！さんにて、なんと5,000円でXeon E5-2690v4を購入しました。新品当...
毒 社交辞令はいらないんだけど。
最近、薄っぺらい会話を好む人がそこそこいるようで、「今度お声がけしますね」的な一言とかはそれに入るのだけど。結局二度と声掛けされないというケースを今年に入ってから割と嫌になるぐらい遭遇している。「すごいですね」「いろいろ考えてますね」そんな...
Artificial Intelligence RTX3050で何ができるか？
安価なGPUでできることを模索してみる昨今Xを眺めていると、えらく高価なGPUでローカルLLMをぶん回してる話題がたくさん飛び交ってます。やれ、DGX-Spark(当初60万→現在100万ぐらい？)だの、RTX5080(20万円前後)だの、...
Artificial Intelligence 環境構築：CUDA入れていきましょ
とりあえずはCUDA導入に必要なことGPUはそろえたんで、次はそれを認識するための導入手順を抑えときましょということで書いています。必要な手順、実はここにだいたい書かれています。ほかのプラットフォーム・OSに関する情報もありますので、参考に...
Artificial Intelligence 環境構築:古いワークステーション仕入れました
PRIMERGY TX140S1には荷が重すぎたため、ひとまずつなぎとしてワークステーションを一台追加することにしました。今回追加したのは往年の名機（？）HP Z440です。本体メモリは8GBのECC Registered DDR4メモリを...
日々徒然 FILCOのキーボード
老舗FILCOが閉業してしまったとのことで、巷をにぎわせていますが、先日ハードオフに行ったら売ってあったのでついつい手が出ました。保守系がどうなっていくか不安な声がささやかれてますが、非常に品質の良いキーボードが作られてきたということで、何...
日々徒然 近況＋ポータルサイトを生成する
4/27に退院しました。現在引き続きのんびり過ごしております。今後の予定としては引き続き体調の立て直しイベントが盛りだくさんでございまして、耳のケロイド手術があったり、精神科のカウンセリングが再開したり、開業申請があったり、環境構築があった...
Artificial Intelligence アーキテクチャの違いで何が変わるのか？
アーキテクチャの違いで言語モデルの動きに差が出るのか？というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...