とりあえずはCUDA導入に必要なこと
GPUはそろえたんで、次はそれを認識するための導入手順を抑えときましょということで書いています。
必要な手順、実はここにだいたい書かれています。
https://docs.nvidia.com/datacenter/tesla/driver-installation-guide/ubuntu.html
ほかのプラットフォーム・OSに関する情報もありますので、参考になれば。
GPUドライバのインストール
とりあえず先述した内容に沿って、インストールを試みてみました。
■まずは以下のコマンドでヘッダ類を入れておきましょ
$ sudo su -
# apt update
# apt install linux-headers-$(uname -r)
■CUDAキーリングツールをダウンロード、インストールします。
# wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
# dpkg -i cuda-keyring_1.1-1_all.deb
# apt update
■CUDAキーリングをインポートし、リポジトリを使えるようにします。
# wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-archive-keyring.gpg
# mv cuda-archive-keyring.gpg /usr/share/keyrings/cuda-archive-keyring.gpg
# echo "deb [signed-by=/usr/share/keyrings/cuda-archive-keyring.gpg] https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/ /" | tee /etc/apt/sources.list.d/cuda-ubuntu2404-x86_64.list
■ドライバをインストールします。
# apt install nvidia-driver-pinning-590
# apt install cuda-drivers
■反映するためにRebootを実行
# reboot今回のインストールに際して、私はCompute-OnlyやDesktop-Onlyといったモジュールの選択はしていません。必要に応じて、NVIDIA側のガイドにて、それ用のインストールパッケージ名が示されていたりもしますので、そこも参考にするとよいかもです。
うまくいけば以下のようにnvidia-smiコマンドが実行可能になります。認識できてればひとまず動くんじゃないかと思われますが、認識してるかどうかはまずこういう形で確認が可能です。
aiuser@dproto02:~$ nvidia-smi
Sun May 10 08:21:42 2026
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 |
+-----------------------------------------+------------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+========================+======================|
| 0 NVIDIA GeForce RTX 3050 On | 00000000:02:00.0 Off | N/A |
| 0% 49C P8 14W / 130W | 1MiB / 8192MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
| 1 NVIDIA GeForce GTX 1660 ... On | 00000000:03:00.0 On | N/A |
| 0% 50C P8 3W / 125W | 9MiB / 6144MiB | 0% Default |
| | | N/A |
+-----------------------------------------+------------------------+----------------------+
+-----------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=========================================================================================|
| No running processes found |
+-----------------------------------------------------------------------------------------+CUDA Toolkitのインストール
次にCUDA Toolkitをインストールします。私の場合、上記画面に合わせて13.1をインストールしています。
これでひとまずは言ったかしらかつらというかんじで。
$ sudo apt dist-upgrade
$ sudo apt install cuda-toolkit-13-1なお、環境変数設定がないとllama.cppはコンパイルできないので注意。私は以下のように設定してコンパイルしてますよ。aptでインストールしても、インストール先のパスは /usr/local/cuda-13 なんだねぇ（しみじみ）
cmake -B build -DGGML_CUDA=ON -DCMAKE_CUDA_ARCHITECTURES="75;86" -DCMAKE_CUDA_COMPILER=/usr/local/cuda-13/bin/nvcc
コメント