サイバーエージェント社が一般公開しているOpenCALM-1Bを、Oracle CloudのAmpere A1のインスタンスで実行してみました。Llama2を動かしたこちらの記事と同じインスタンスを使用しています。OpenCALM-3B、OpenCALM-7Bはメモリが足りないせいか実行できませんでした。
Ampere A1のインスタンスで実行するサーバーのコードは以下になります。
APEXアプリケーションのエクスポートを以下に置きました。
https://github.com/ujnak/apexapps/blob/master/exports/open-calm.zip
model.generateの引数となるページ・アイテムとして、P1_MAX_TOKENS、P1_TEMPERATURE、P1_TOP_P、P1_INPUTを作成しています。model.generateの出力はページ・アイテムP1_OUTPUTに設定します。
呼び出すサーバーはアプリケーション定義に、置換文字列G_SERVERの置換値として設定します。
入力を変えて出力を確認する作業を手軽に行なうために、ユーザー・インターフェースを作ってみました。
Oracle APEXのアプリケーション作成の参考になると幸いです。
完
