Artificial Intelligence ガチでスクラッチから作ってみたいそんなあなたに
今、X.com上でこんなリポジトリが盛り上がってます。これ、何が入ってるかと言いますと、スクラッチでTransformerを使用したLLMを事前学習から始めるためのキットが詰まっています。全体構成全体構成は以下のようになっています。trai...
Artificial Intelligence
Artificial Intelligence 
Artificial Intelligence Dify/llama.cppの利用は盲目的にはできない件
llama.cppの心得：同時接続数に気を付けようEmbeddingモデルを使う際、私はローカルSLMをよく利用します。理由は「レイテンシーが低いから」の1点に尽きます。API型LLMで実行する場合に比べて恐ろしく処理が速くなるんですね。ま...
Artificial Intelligence RTX3050で何ができるか？
安価なGPUでできることを模索してみる昨今Xを眺めていると、えらく高価なGPUでローカルLLMをぶん回してる話題がたくさん飛び交ってます。やれ、DGX-Spark(当初60万→現在100万ぐらい？)だの、RTX5080(20万円前後)だの、...
Artificial Intelligence 環境構築：CUDA入れていきましょ
とりあえずはCUDA導入に必要なことGPUはそろえたんで、次はそれを認識するための導入手順を抑えときましょということで書いています。必要な手順、実はここにだいたい書かれています。ほかのプラットフォーム・OSに関する情報もありますので、参考に...
Artificial Intelligence 環境構築:古いワークステーション仕入れました
PRIMERGY TX140S1には荷が重すぎたため、ひとまずつなぎとしてワークステーションを一台追加することにしました。今回追加したのは往年の名機（？）HP Z440です。本体メモリは8GBのECC Registered DDR4メモリを...
Artificial Intelligence アーキテクチャの違いで何が変わるのか？
アーキテクチャの違いで言語モデルの動きに差が出るのか？というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...
Artificial Intelligence llama.cppにおけるKVキャッシュ量子化について
KVキャッシュ量子化を軽々しく使うとつらい目に遭ったというタイトルで始めたんですけど、気づきは本当に偶然です。GPUSOROBANのインスタンスでllama.cppとLiteLLM連携の検証をしたときに気づいた話です。KVキャッシュというも...
Artificial Intelligence メモリの帯域は馬鹿にならない
ローカルLLMを動かすときの重要なカギ：メモリ帯域ローカルLLMやSLMを使用するとき、皆さんはどういうグラフィックボードを使用されるのでしょう？大体は安価な製品なちょい古めの・・そう、例えばRTX3060-12GBみたいなものを使って動か...
Artificial Intelligence GPUSOROBANというサービスを使う
皆さんはGPUSOROBANというサービスをご存じだろうか。3年ぐらい前に、格安のGPUサービスってないものか・・・と探してみた当時から、格安GPUサービスとして提供が行われていたが、確かに格安だったのは覚えている。ただ、当時の用途が3Dツ...
Artificial Intelligence 機密情報を外に漏らさぬために
こんなXでのポストを目にしました。AIに個人情報を入れまくってたら人生が終わりかけた話昨今、これはフィクションだ！という人もいらっしゃるようですが、それ以上に重要なのは「そうならないようにちゃんと周辺コンポーネント含めて情報見てる？」ってこ...