はじめに
Alibabaから「Qwen3」が公開されたとのニュースを見て、ぜひ家でも試してみたいと思いました。思うよね？
ただ、普通のLLMを動かすPCとしてはVRAMが16GBあるメインPCでも可能なので、今回は特に大きいモデルを動かすことを目標にします。
Qwen3には0.6bから235bまで幅広いパラメータ数のモデルがあります。また、30b-a3bという専門家モデルもあります。この専門家サイズは小さいサイズでも19GBを必要としているので、中々ハードルが高いです。ちなみに大きいサイズは142GBも必要です。流石にクラウドじゃないと無理ですね。
サーバー構成
| パーツ | 品名 | 価格 | URL |
|---|---|---|---|
| CPU | Intel Core i9 7900X | ¥12,200 | https://kakaku.com/item/K0000970155/ |
| M/B | ASUS PRIME X299-A | ¥13,000 | https://kakaku.com/item/K0000974512/ |
| RAM | CFD W4U3200CS-8G 2枚組 x2 | ¥8,360 | https://kakaku.com/item/K0001465662/ |
| SSD | KIOXIA EXCERIA PLUS G3 1TB | ¥9,640 | https://kakaku.com/item/K0001579414/ |
| GPU | NVIDIA TITAN RTX | ¥101,200 | |
| GPU | NVIDIA TITAN RTX | ¥78,310 | |
| 電源 | 玄人志向 KRPW-GA850W/90+ | ¥14,518 | https://kakaku.com/item/K0001362986/ |
| ケース | FSP CMT580W | ¥5,980 | https://kakaku.com/item/K0001652953/ |
| グリス | AINEX JP-DX1 | ¥1,280 | https://www.ainex.jp/products/jp-dx1/ |
| 合計 | ¥244,488 |
今回はたまたまRTX TITANを2枚入手することができたので、VRAMが24GBx2の48GBのスーパーAIサーバーを作りました。
Ollama
初回のモデル読み込みが遅いですが、一度読み込んでしまうと20秒くらいで回答を生成することができました（思考時間に10秒少しかかる）。
専門家モデルは、必要な分野の知識だけを使用して回答するので、早くて正確だと感じました。
