llama3 を試してみた

メタ社から 4/13 に発表された llama3 を使ってみた。

ダウンロードした PC のスペックは以下の通り。

llama3 には 8B と 70B の２つのモデルがあるが、まずは 8B モデルで試してみる。

サクっと確認するため、ollama コマンドをインストールしてチェックした。

https://ollama.com から各 OS 向けの sh パッケージをダウンロードできる。Ollama コマンドをインストールしたら、

ollama run llama3

で、llama3 8B をダウンロードし、実行してくれる。

GPU Memory Usage を nvidia-smi で確認したところ、8GB 消費していた。応答速度も申し分ない。

次に、

ollama run llama3:70b

で llama3 70b モデルをダウンロードして実行してみた。

RTX 4090 は VRAM が 24GB 乗っているが、ollama-server が VRAM を使い尽くしていた。耐えられないほどではないが、応答もだいぶもたつく。不思議なことにメイン RAM は 3GB しか消費していない。

マウスコンピュータの400万円の PC だとどのような結果になるか興味深いが、AI にはお金がかかりますなあ。