2025年2月21日金曜日

rinna株式会社がHugging Faceで公開しているDeepSeek R1を利用したQwen2.5 Bakeneko 32BをLM StudioとOllamaで実行する

rinna株式会社のプレスリリースです。

Qwen2.5とDeepSeek R1を利用した日本語大規模言語モデル「Qwen2.5 Bakeneko 32B」シリーズを公開

手元のMacbook ProのLM StudioとOllamaの両方で、DeepSeek R1を利用したQwen2.5 Bakeneko 32Bを動作させてみました。

Hugging FaceのModel cardへのリンクは以下です。

GGUF formatで2, 3, 4, 5, 6, 8-bitで量子化されたモデルを選べます。

LM Studio


Model searchでは見つからないので、lmsコマンドを実行してモデルをダウンロードします。私のMacbook Proはメモリをたくさん積んでいるので、量子化に@q8_0を選択しています。

lms get https://huggingface.co/rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf@q8_0

コマンドを実行するとモデルがダウンロードされます。すでにダウンロードした後なので、以下のように出力されました。Q8_0で34.82GBのサイズです。

% lms get https://huggingface.co/rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf@q8_0

Searching for models with the term https://huggingface.co/rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf

Downloading Deepseek R1 Distill Qwen2.5 Bakeneko 32B [Q8_0] (34.82 GB)

You already have this model. You can load it with: 


    lms load deepseek-r1-distill-qwen2.5-bakeneko-32b@q8_0


% 


LM Studioを開いてダウンロードしたモデルをロードします。コンテキスト長を大きくするため、Manulally choose model load parametersオンにします。


Context Length131072に変更し、Load Modelを実行します。


モデルがロードされます。動作を確認してみます。

デジタル庁が公開しているデジタル社会推進標準ガイドラインのページを開き、DS-100デジタル・ガバメント推進標準ガイドラインをダウンロードします。

ダウンロードしたファイルを添付し、以下のプロンプトを与えてSendをクリックします。

「スタンドアロンコンピュータを用いるときの管理者の指定方法について、説明してください。」


すごい時間がかかりましたが(30分以上?)、以下のような回答が得られました。


DS-100の資料は全部で115ページあり、別紙4の「スタンドアロンコンピュータ管理責任者等の指定」は111ページに記載されています。Contextは55.9%使用したと報告されているので、まだコンテキスト長には余裕はあるようです。

元資料と見比べてはいませんが、それほど違和感を感じない出力です。

----- ここから ----

スタンドアロンコンピュータの管理者指定ガイドライン

ユーザーがスタンドアロンコンピュータの管理者指定について尋ねているため、ガイドラインの該当部分を整理しました。別紙4に「スタンドアロンコンピュータ管理責任者等の指定」があり、その中で管理責任者と管理担当者の設置が求められています。

また、本ガイドラインの適用範囲と特例規定を見ると、管理責任者が特定の業務を担うことが明記されています。運用上の注意点やセキュリティ対策についても説明する必要があります。

1. 指定対象

  • 管理責任者:情報システム全体を統括する権限を持つ者

  • 管理担当者:具体的な運用・保守業務を行う技術員等


2. 主要な任務

管理責任者の役割

  1. 情報セキュリティの確保

    • ウイルス対策ソフトウェアの適用

    • データ暗号化や物理的アクセス制御の実施

    • 外部記憶媒体使用の許可権限保有

  2. 運用基準の策定

    • スタンドアロンコンピュータの利用範囲・目的を明確にし、府省の情報セキュリティポリシーとの整合性を維持する。

  3. 障害対応の統括

    • サービス停止時やデータ損失時の復旧計画策定

  4. 外部連携の管理

    • 他の情報システムとのデータ連携・保守契約の調整

管理担当者の役割

  1. 日常業務の実施

    • ハードウェアの保守作業(物理的点検、パーツ交換等)

    • ソフトウェア更新やライセンス管理

  2. データ運用支援

    • 指定された範囲内のデータ操作・バックアップ作業


3. 特別な措置

  • 共用環境での利用:複数の担当者がコンピュータを共有する場合は、権限管理(閲覧制限、ログ記録)が必須です。

  • 外部持ち出し許可:緊急時以外は物理的な移動を禁止し、データ転送にはウイルスチェックを義務化。


4. 違反対応

  • 権限外の操作や不適切なデータ持ち出しが発生した場合は、府省の情報セキュリティ規程に基づき処分対象とします。

この指定方法は、「デジタル社会推進会議幹事会決定」に基づき、2021年9月1日から適用されています。

------- ここまで ----

以前の記事で作成した小説生成器のアプリケーションから呼び出すには、置換文字列の設定を以下に変更します。

G_ENDPOINT_URL = http://localhost:8080/v1/chat/completions
G_MODEL_NAME = deepseek-r1-distill-qwen2.5-bakeneko-32b@q8_0




Ollama



Ollamaでは以下のコマンドを実行します。量子化はq8_0を指定しています。

ollama run hf.co/rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf:q8_0

% ollama run hf.co/rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf:q8_0

>>> Send a message (/? for help)


以前の記事で作成した小説生成器のアプリケーションから呼び出すには、置換文字列の設定を以下に変更します。

G_ENDPOINT_URL = http://localhost:11434/v1/chat/completions
G_MODEL_NAME = hf.co/rinna/deepseek-r1-distill-qwen2.5-bakeneko-32b-gguf:q8_0



今回の記事は以上です。

謝辞: 参考にしたサイト


Use Models from the Hugging Face Hub in LM Studio
https://huggingface.co/blog/yagilb/lms-hf

rinna さんの Qwen2.5 Bakeneko 32B を試す
https://note.com/schroneko/n/n261cb1028c4b