私はとっても懐疑的です
最近よくこんな言葉飛び交ってるんですよね。
- 「ローカルLLM入れたほうがコストが安くなる」っていうけど本当か？
- クラウド型AIしか利用価値はないだろう？
私的な正解は「どっちでもないし、そんな単純じゃないよ」ということでして。
ローカルLLMって本当に安いの？
安い場合もあるかもしれないけど、逆に高くつく場合もあるし、効率が下がってイライラするだけかもしれないってのはある
これが私の持ってる意見です。
ローカルLLMと一口で言っても大きいモデルから小さいモデルまでたくさんあります。一般的なスペックを目指してみたら周りがどんどん金つぎ込んでいくんで、それが追い付かないのは嫌だと乗っかってしまって100万も200万も金つぎ込んじゃったみたいな人はそれなりにいらっしゃるんではないでしょうか？
大きいモデルを何としても自前で動かしたいとかになった場合、それこそ数百万～数千万、下手すりゃ億の金が吹っ飛ぶ場合もありますし、小さいモデルを動かしたい場合はスペックこそそこそこに落ち着くかもしれませんが、性能面でいえば明らかにクラウド型で提供されるハイエンドクラスとかには遠く及びません。こればかりは
- どんなモデルを動かしたいの？
- どの程度のスペックまでならお金出せるの？
と言う所に終始すると思います。もしやるんだったら取り返しつかないんだし、計画的にやりましょうよと言うのが私の意見です。
例えば私なんかはフリーランスですし、テクニカルライターとして記事を書く身分なので、オープンウェイトモデルの評価はある程度までは自前でやれた方が柔軟に対応できるということもあり、今後の稼ぎの為にエンタープライズGPUに手を出そうかどうしようかって悩むことはあります。それも報酬が得られて原資がないと話にならないので、無理な買い物とかできません。
取り敢えずは30B程度のモデルは何とか動かせる程度のリソースは手元に置いておきたいですね。それで得られない場合は自身の財布やお客さんとの契約の中で必要リソースを払い出してもらえるかどうかといった調整の果てにあるものかなと思っています。
じゃぁ、なんでローカルLLMやってるの？
私の場合は、クラウド型AIのことがあんまり信用出来てないからです。
少なくともそれが理由でChatGPTとか、Geminiアプリとかそういうのは個人的な遊び目的でしか触ったりしません。
ChatGPT/Geminiアプリのようなパターン
この手のサービスはざっくりとこういう構造になっています。
手元にはクライアントPCとブラウザがあり、そこからアクセスしてサービスを提供するWebサーバへアクセスする方法です。この場合、ベンダーが構築した環境にすべての情報を預ける構成になります。
AIの処理だけを外のサービスにお願いするパターン
もう一つのパターンはこちら。手元で構築したものとかじゃなく、ローカルPCや手元の環境に実装するパッケージを導入するとかでもよいかと思います。
これについては、大体従量課金となることが多く、代表的なものでいえば私の場合はDifyやHermes Agentが該当します。この場合は、推論サービスだけをAPIとして切り出されたもの（エンドポイント）に必要なメッセージや画像データといった情報のみを送り、その応答をローカルパッケージで受け取って処理します。
すべてを手元に置くパターン
そして残る一つのパターンがこちらです。AIの推論部分も含めて手元に置くパターンです。こちらはご存じの通りと言うかなんというか。すべてが自身の手元で制御できるものと考えるとよいでしょう。
すべて手元で完結させるパターンです。
あなたは、何処まで自身の大事な情報を外の業者さんに無条件で渡せますか？
私の場合、2番目と3番目の構成をとることがほとんどで、その理由は「どこまで自身の大切な情報を外の業者に無条件で渡せるか？」ということです。かくいう私自身もgmailやMicrosoft 365とか言ったサービスを使ったりすることはそこそこあるのであまり人のことは言えないんですが、少なくともAIサービスに対する信用は正直あまりできないというのがあり、そのような構成をとってることが多いです。
転じてこれは、エンタープライズ領域における「会社の重要情報をどこまで預けられますか？」ということになります。Azure/AWS/Googleに対して人々によっていろいろ思う所があるのだろうとは思いますが、これらのベンダーはエンタープライズ契約に則って最低限の保証ができる、それがクラウドにデータを預ける一つの大きな理由になっています。安心の信頼と「実績」って奴だと思ってください。とはいえ、昨今のアメリカ企業のIT方面に対する横暴は半端なく。「顧客満足」よりも「自身の利益」を第一優先するようになった企業はかなり増えました。
以前はその辺りは建前だけでも最低限取り繕ってるケースは多かったですが、最近だとそれすらも捨ててあからさまに利益第一で突き進んでることが経験上ありました。仕様変更は勝手にやりますし、日中帯に切り替え・切り戻しやってるのが挙動ですぐわかりますし、なかなかエグイことやってんな・・・と感じてるのがここ2－3年ぐらいの変化としてありました。
そういう意味でも国内の推論エンジンを供給するベンダーが幾つかあります。そういう所を頼って活用するというのは一つ選択肢としては上がってくるのかなと思います。
もう一つの理由：飾り物のついてない素のAIモデルと向き合いたい
もう一つの理由は、これもChatGPTやGeminiアプリ、Grokアプリと言ったものに起こりうることかなと思うのですが、ある日突然応答内容が変わることがあります。それがファインチューニングした結果なのか、あるいは見えないシステムプロンプトをいじられてしまったからなのかはわかりませんが、その変化の瞬間をつかむことが難しいからです。
よくある日突然「AIが馬鹿になった。ナーフされた」とかいう人いますよね。何かしら仕様変更があったのかもしれません。しかし、それがプロンプトが変わったのか、モデルが変わったのかが分からない、なんとなくやり取りして雰囲気が変わった、「きっと何かいじられたん【だろう】」←これが嫌なのです。
ベンダー内部の誰かがいじった【かもしれない】状況が起きるのが私的にはNGなんですね。その品質が一定でなく、ある日突然変わるという状況が正直怖いというのがあります。
それに対して例えばAPIの場合は基本的にプロンプトによる装飾は行われません（よほどのことがない限り）。応答が変わるとしたらそれはチューニングされたモデルに差し変わるかどうかです。これが行われた場合、例えばベンダー側ではバージョン管理がなされており、自動で変えられるのか、手動で変えるのかが使用側で決まっていたりしますし、まだSaaSアプリよりはよいです。
すべて手元となるとこれが自前で管理できるようになります。変えたくなければそのまま動かせばよいですし、変えたいならモデルファイルをダウンロードして突っ込んで、それを指定して推論エンジンを起動すればよいわけです。下手な修飾があるとしても、それはガードレール設定などになると思われますが、それがあったとしても、少なくともある日突然応答内容が変わるわけではないし、把握した仕様に倣って応答してくれるようになるという意味では、制御上の安心感はけた違いなのです。
常識は色々覆される今だから
ある意味この手の話は私の職業病的なものかもしれませんが、ここ数年当たり前だと思ってるものがどんどん覆される日々を送る中で、一定の制御できる範囲があるのだから、そこはちゃんとコントロールしたいというのが根底にありまして、今一度そっち方面にも目を向けて考えてみていただくと、その仕組み本当に必要？ってところが見えてくるかもしれないのです。
コメント