目次
はじめに
TinySwallow-1.5Bは、日本のAI企業Sakana AIが2025年1月に発表した小規模日本語言語モデル(SLM)です。
TinySwallow-1.5Bは、新しい知識蒸留手法「TAID (Temporally Adaptive Interpolated Distillation)」を用いて開発されました。この手法により、Qwen2.5-32B-Instructという32B（320億）パラメータの大規模言語モデル（LLM）から15億パラメータの小規模モデルへ効率的に知識を転移させることに成功しています。
PCでは余裕で動作するため、今回はRaspberry Pi 4B 4GBのOllamaを使って動作するか検証しました。
Rapberry PiへのOllamaをインストールする
Raspberry PiへのOllamaのインストールコマンドは次の通りです。
システムを最新の状態に更新します。
sudo apt update
sudo apt upgrade -yOllamaをインストールします。
curl -fsSL https://ollama.com/install.sh | shインストールを確認します。
ollama --versionSLMモデルのインストールと実行
【Q8_0】
ollama run hf.co/SakanaAI/TinySwallow-1.5B-Instruct-GGUF:Q8_0【Q5_K_M】
ollama run hf.co/SakanaAI/TinySwallow-1.5B-Instruct-GGUF:Q5_K_M実行結果
Q8_0 と Q5_K_M での実行結果です。それほど高速ではありませんが、それなりに動作しています。
Q5_K_Mの回答では、「世界で14番目」と出力されますが、おそらく間違いです。何回か同じ質問をするとこの順位も変わります。
FAQ
-
TinySwallow-1.5Bとは何ですか？
-
TinySwallow-1.5Bは、日本のAI企業Sakana AIが2025年1月に発表した小規模日本語言語モデル（SLM）です。
-
TinySwallow-1.5Bの特徴は何ですか？
-
このモデルは、新しい知識蒸留手法「TAID（Temporally Adaptive Interpolated Distillation）」を用いて開発されました。32Bパラメータの大規模言語モデルから15億パラメータの小規模モデルへ効率的に知識を転移させることに成功しています。
-
TinySwallow-1.5Bはどこで入手できますか？
-
TinySwallow-1.5BはHugging Faceで公開されています。
-
TinySwallow-1.5Bの元となったモデルは？
-
Qwen2.5-32B-Instructという32B（320億）パラメータの大規模言語モデル（LLM）から知識蒸留されています。
-
Raspberry Piでも動作しますか？
-
はい、Raspberry Pi 4B 4GBでの動作が確認されています。
-
Raspberry PiへのOllamaのインストール方法は？
-
システムを最新の状態に更新し、Ollamaのインストールスクリプトを実行することでインストールできます。