Artificial Intelligence

Artificial Intelligence

ガチでスクラッチから作ってみたいそんなあなたに

今、X.com上でこんなリポジトリが盛り上がってます。これ、何が入ってるかと言いますと、スクラッチでTransformerを使用したLLMを事前学習から始めるためのキットが詰まっています。全体構成全体構成は以下のようになっています。trai...
Artificial Intelligence

Dify/llama.cppの利用は盲目的にはできない件

llama.cppの心得:同時接続数に気を付けようEmbeddingモデルを使う際、私はローカルSLMをよく利用します。理由は「レイテンシーが低いから」の1点に尽きます。API型LLMで実行する場合に比べて恐ろしく処理が速くなるんですね。ま...
Artificial Intelligence

RTX3050で何ができるか?

安価なGPUでできることを模索してみる昨今Xを眺めていると、えらく高価なGPUでローカルLLMをぶん回してる話題がたくさん飛び交ってます。やれ、DGX-Spark(当初60万→現在100万ぐらい?)だの、RTX5080(20万円前後)だの、...
Artificial Intelligence

環境構築:CUDA入れていきましょ

とりあえずはCUDA導入に必要なことGPUはそろえたんで、次はそれを認識するための導入手順を抑えときましょということで書いています。必要な手順、実はここにだいたい書かれています。ほかのプラットフォーム・OSに関する情報もありますので、参考に...
Artificial Intelligence

環境構築:古いワークステーション仕入れました

PRIMERGY TX140S1には荷が重すぎたため、ひとまずつなぎとしてワークステーションを一台追加することにしました。今回追加したのは往年の名機(?)HP Z440です。本体メモリは8GBのECC Registered DDR4メモリを...
Artificial Intelligence

アーキテクチャの違いで何が変わるのか?

アーキテクチャの違いで言語モデルの動きに差が出るのか?というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...
Artificial Intelligence

llama.cppにおけるKVキャッシュ量子化について

KVキャッシュ量子化を軽々しく使うとつらい目に遭ったというタイトルで始めたんですけど、気づきは本当に偶然です。GPUSOROBANのインスタンスでllama.cppとLiteLLM連携の検証をしたときに気づいた話です。KVキャッシュというも...
Artificial Intelligence

メモリの帯域は馬鹿にならない

ローカルLLMを動かすときの重要なカギ:メモリ帯域ローカルLLMやSLMを使用するとき、皆さんはどういうグラフィックボードを使用されるのでしょう?大体は安価な製品なちょい古めの・・そう、例えばRTX3060-12GBみたいなものを使って動か...
Artificial Intelligence

GPUSOROBANというサービスを使う

皆さんはGPUSOROBANというサービスをご存じだろうか。3年ぐらい前に、格安のGPUサービスってないものか・・・と探してみた当時から、格安GPUサービスとして提供が行われていたが、確かに格安だったのは覚えている。ただ、当時の用途が3Dツ...
Artificial Intelligence

機密情報を外に漏らさぬために

こんなXでのポストを目にしました。AIに個人情報を入れまくってたら人生が終わりかけた話昨今、これはフィクションだ!という人もいらっしゃるようですが、それ以上に重要なのは「そうならないようにちゃんと周辺コンポーネント含めて情報見てる?」ってこ...