vllm

llama.cppとvLLMのメモリ区分の違い

きちんと対応付けできるのもあるけど、対応付けできないのもあるらしい。Model Weight及びKV Cacheは既に過去の記事で説明してるとおりなので割愛すると、llama.cppにおいてComputer bufferと呼ばれるものは、そ...

Artificial IntelligenceInfrastructure

vLLMの設定を固める

vLLMをいい加減触らないとなーと言い出してもう何年経っただろう。気づけばちょっと掠るぐらいしか触ってない。何ともかっこ悪い話なんだけど、色々知らないことが多すぎるなぁと実際触れてみて感じるばかり。最終的に固まったConfigこういう設定で...

Artificial Intelligence日々徒然昔取った杵柄