楽天からリリースされた「Rakuten AI 7B」を試してみたかったのですが、Hagging FaceにはGGUFファイルがリリースされていませんでした。 現在はリリースされています！ そこで、Hagging Face … 続きを読む Hagging Faceのモデル(Rakuten AI 7B)をGGUFに変換＆4bit量子化してOllamaで動かす。Docker Desktopを使います。