日々徒然

FILCOのキーボード

老舗FILCOが閉業してしまったとのことで、巷をにぎわせていますが、先日ハードオフに行ったら売ってあったのでついつい手が出ました。保守系がどうなっていくか不安な声がささやかれてますが、非常に品質の良いキーボードが作られてきたということで、何...
日々徒然

近況+ポータルサイトを生成する

4/27に退院しました。現在引き続きのんびり過ごしております。今後の予定としては引き続き体調の立て直しイベントが盛りだくさんでございまして、耳のケロイド手術があったり、精神科のカウンセリングが再開したり、開業申請があったり、環境構築があった...
Artificial Intelligence

アーキテクチャの違いで何が変わるのか?

アーキテクチャの違いで言語モデルの動きに差が出るのか?というところがなかなかピンとこないことがあります。特にDeepLearningモデルの領域では、ことあるごとに新しい仕組みが生まれては世代が変わり、それが学習の差によって出るものなのか、...
Artificial Intelligence

llama.cppにおけるKVキャッシュ量子化について

KVキャッシュ量子化を軽々しく使うとつらい目に遭ったというタイトルで始めたんですけど、気づきは本当に偶然です。GPUSOROBANのインスタンスでllama.cppとLiteLLM連携の検証をしたときに気づいた話です。KVキャッシュというも...
昔取った杵柄

コンテナ内部でsystemctlみたいなことをしたい

以前紹介した GPUSOROBAN ですが、コンテナを払い出すサービスとして紹介をしました。それ故に通常のVMではできることができないポイントなんかあったりします。例えば systemctl が使えません。これを使うためにホスト側でいじる内...
Artificial Intelligence

メモリの帯域は馬鹿にならない

ローカルLLMを動かすときの重要なカギ:メモリ帯域ローカルLLMやSLMを使用するとき、皆さんはどういうグラフィックボードを使用されるのでしょう?大体は安価な製品なちょい古めの・・そう、例えばRTX3060-12GBみたいなものを使って動か...
Artificial Intelligence

GPUSOROBANというサービスを使う

皆さんはGPUSOROBANというサービスをご存じだろうか。3年ぐらい前に、格安のGPUサービスってないものか・・・と探してみた当時から、格安GPUサービスとして提供が行われていたが、確かに格安だったのは覚えている。ただ、当時の用途が3Dツ...
Artificial Intelligence

機密情報を外に漏らさぬために

こんなXでのポストを目にしました。AIに個人情報を入れまくってたら人生が終わりかけた話昨今、これはフィクションだ!という人もいらっしゃるようですが、それ以上に重要なのは「そうならないようにちゃんと周辺コンポーネント含めて情報見てる?」ってこ...
Artificial Intelligence

Tokenizerの作り方

よくよく考えてみればllm-jp4のアーキテクチャを整理してる際にふと気づいたことがあります。「Tokenizerってどうやって作ってるんだろう?」お前そんなことすら知らねーのか!?と言われそうですが、全く意識したことがありませんでした(;...
Artificial Intelligence

llm-jp-4のアーキテクチャ

llm-jpってコミュニティをご存じでしょうか?llm-jpとは、大規模言語モデル研究開発センターが主宰する研究者のコミュニティ名であり、かつ、日本発LLM開発プロジェクトの名称を指します。前職の会社でGPUについての調査検証をしていたころ...