Tuesday, February 18, 2025

OllamaとOpen WebUIを導入して、ローカルでLLMを動かせるようにしてみた。

OllamaはOpen AI APIとも互換性のあるAPIを提供しているので、CORSの許可などの設定が若干必要だが、Open AI APIを使って動かしたいローカルアプリ（翻訳ツールとか）を動かすこともできる。

M4 Mac mini (共有メモリ16GB)モデルだとどれぐらいのLLMを動かせるか分からなかったので、Gemmaの2Bをベースに日本語にファインチューンされたモデルを使用してみている。（DeepSeek R1の7Bの日本語ファインチューニングのモデルも普通に動かせはした）