2023年12月11日月曜日

Oracle Database 23c FreeにDBMS_CLOUDパッケージを入れてAmazon S3にアクセスする

Oracle Corporationは無料で利用できるオラクル・データベースとしてOracle Database 23c Freeを提供しています。このオラクル・データベースからAmazon S3にアクセスするためにDBMS_CLOUDパッケージをインストールしました。

以下、実施した作業を記述します。以下の記事に従って作成した環境に、DBMS_CLOUDをインストールします。

Oracle APEXの環境作成(0) - はじめに

パッケージDBMS_CLOUDのインストールについて、オラクル社としてMy Oracle Supportに以下のドキュメントを公開しています。

How To Setup And Use DBMS_CLOUD Package (Doc ID 2748362.1)

今回のAmazon S3にアクセスすることが目的であることもあり、AWS Database Blogの以下の記事に従って作業することにしました。

Use the DBMS_CLOUD package in Amazon RDS Custom for Oracle for direct Amazon S3 integration

AWSを使った経験が少ない方の参考になるように、AWSの操作についても記述します。

今回の作業はAWSのREST APIを、アクセスキーで認証して呼び出すことを目的としています。DBMS_CLOUDのほとんどのAPIは、オラクルのディレクトリ・オブジェクトを介してオブジェクト・ストレージとのデータのやり取りを行います。DBMS_CLOUDでは、このディレクトリ・オブジェクトがOracle File System（Oracle Database File System）であることが前提となっているようです。そのため、LIST_FILES、GET_OBJECT、PUT_OBJECTその他を使うためにはOFS/DBFSの設定が必要なようです。リソースに制限のある23c FreeでDBFSを構成するのは無理があると思ったので、試していません。


Amazon S3バケットを作成する



Oracle Database 23c FreeからアクセスするAmazon S3のバケットを作成します。

AWSコンソールよりAmazon S3のバケットを開きます。

汎用バケットのバケットの作成をクリックします。


一般的な設定のバケット名を設定します。今回の作業ではmyoraclefreebucketとしました。AWSリージョンは後の設定で使うため覚えておきます。バケットタイプは汎用です。


AWSのブログの手順にポリシーが含まれて、そのまま使えます。ポリシーを使用できるため、オブジェクト所有者はACL無効(推奨)を選択します。


以降の設定もデフォルトから変更しません。画面下のバケットの作成を実行します。


バケットが作成されます。



ポリシーを作成する



AWSコンソールよりIdentity and Access Management(IAM)のポリシーを開きます。

ポリシーの作成をクリックします。


アクセス許可を指定します。ポリシーエディタにJSONを選び、AWSのブログに記載されているポリシーのJSONを貼り付けます。今回の作業ではSidはOracleFreeS3Policyとしています。<your bucket name>の部分はmyoraclefreebucketに置き換えています。

{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "OracleFreeS3Policy",
"Effect": "Allow",
"Action": [
"s3:PutObject",
"s3:GetObject",
"s3:ListBucket",
"s3:DeleteObject"
],
"Resource": [
"arn:aws:s3:::<your bucket name>",
"arn:aws:s3:::<your bucket name>/*"
]
}
]
}
view raw OracleFreeS3Policy hosted with ❤ by GitHub

次へ進みます。


ポリシー名は任意ですが、今回の作業ではOracleFreeS3Policyとしました。

ポリシーの作成をクリックします。


ポリシーOracleFreeS3Policyが作成されます。



IAMユーザーを作成する



Identity and Access Management(IAM)のユーザーを開きます。

ユーザーの作成をクリックします。


ユーザー名を指定します。今回の作業ではoracletestuserとしました。

次へ進みます。


許可のオプションとしてポリシーを直接アタッチするを選択します。許可ポリシーからOracleFreeS3Policyを検索し、チェックを入れます。

次へ進みます。


ユーザーの作成を実行します。


ユーザーが作成されます。

アクセスキーを生成するため、作成したユーザーを開きます。



セキュリティ認証情報のタブを開き、アクセスキーを作成をクリックします。


AWSとしてはアクセスキーの使用は推奨していないようです。ユースケースを選択すると、代替案が示されます。今回はAWSのブログの記載に従っているため、採用可能な代替案があるのかどうかわかりません。どれを選択してもアクセスキーは作成できますが、その他を選択します。

次へ進みます。


説明タグは必須ではありません。

アクセスキーを作成をクリックします。


アクセスキーとシークレットアクセスキーが作成されます。DBMS_CLOUD.CREATE_CREDENTIALを呼び出してAmazon S3にアクセスするためのクリデンシャルを作成する際に、アクセスキーがusername、シークレットアクセスキーがpasswordの値になります。



パッケージDBMS_CLOUDをインストールする



Oracle Database 23c FreeにOracle APEXとOracle ORDSをインストールした環境に接続します。作業はユーザーoracleで実施します。Oracle Cloudのコンピュート・インスタンスとして実行されている環境を想定していますが、その他のクラウドでも、手順は変わらないでしょう。

/home/oracle以下にファイルdbms_cloud_install.sqlを作成します。以下の内容を記述します。AWSのブログに記載されている内容ですが、できればオラクルの公式のドキュメント2748362.1を参照するのが望ましいです。2023年12月11日時点では、空白行を除くと両者に差異はありませんでした。

@$ORACLE_HOME/rdbms/admin/sqlsessstart.sql
set verify off
-- you must not change the owner of the functionality to avoid future issues
define username='C##CLOUD$SERVICE'
create user &username no authentication account lock;
REM Grant Common User Privileges
grant INHERIT PRIVILEGES on user &username to sys;
grant INHERIT PRIVILEGES on user sys to &username;
grant RESOURCE, UNLIMITED TABLESPACE, SELECT_CATALOG_ROLE to &username;
grant CREATE ANY TABLE, DROP ANY TABLE, INSERT ANY TABLE, SELECT ANY TABLE,
CREATE ANY CREDENTIAL, CREATE PUBLIC SYNONYM, CREATE PROCEDURE, ALTER SESSION, CREATE JOB to &username;
grant CREATE SESSION, SET CONTAINER to &username;
grant SELECT on SYS.V_$MYSTAT to &username;
grant SELECT on SYS.SERVICE$ to &username;
grant SELECT on SYS.V_$ENCRYPTION_WALLET to &username;
grant read, write on directory DATA_PUMP_DIR to &username;
grant EXECUTE on SYS.DBMS_PRIV_CAPTURE to &username;
grant EXECUTE on SYS.DBMS_PDB_LIB to &username;
grant EXECUTE on SYS.DBMS_CRYPTO to &username;
grant EXECUTE on SYS.DBMS_SYS_ERROR to &username;
grant EXECUTE ON SYS.DBMS_ISCHED to &username;
grant EXECUTE ON SYS.DBMS_PDB_LIB to &username;
grant EXECUTE on SYS.DBMS_PDB to &username;
grant EXECUTE on SYS.DBMS_SERVICE to &username;
grant EXECUTE on SYS.DBMS_PDB to &username;
grant EXECUTE on SYS.CONFIGURE_DV to &username;
grant EXECUTE on SYS.DBMS_SYS_ERROR to &username;
grant EXECUTE on SYS.DBMS_CREDENTIAL to &username;
grant EXECUTE on SYS.DBMS_RANDOM to &username;
grant EXECUTE on SYS.DBMS_SYS_SQL to &username;
grant EXECUTE on SYS.DBMS_LOCK to &username;
grant EXECUTE on SYS.DBMS_AQADM to &username;
grant EXECUTE on SYS.DBMS_AQ to &username;
grant EXECUTE on SYS.DBMS_SYSTEM to &username;
grant EXECUTE on SYS.SCHED$_LOG_ON_ERRORS_CLASS to &username;
grant SELECT on SYS.DBA_DATA_FILES to &username;
grant SELECT on SYS.DBA_EXTENTS to &username;
grant SELECT on SYS.DBA_CREDENTIALS to &username;
grant SELECT on SYS.AUDIT_UNIFIED_ENABLED_POLICIES to &username;
grant SELECT on SYS.DBA_ROLES to &username;
grant SELECT on SYS.V_$ENCRYPTION_KEYS to &username;
grant SELECT on SYS.DBA_DIRECTORIES to &username;
grant SELECT on SYS.DBA_USERS to &username;
grant SELECT on SYS.DBA_OBJECTS to &username;
grant SELECT on SYS.V_$PDBS to &username;
grant SELECT on SYS.V_$SESSION to &username;
grant SELECT on SYS.GV_$SESSION to &username;
grant SELECT on SYS.DBA_REGISTRY to &username;
grant SELECT on SYS.DBA_DV_STATUS to &username;
alter session set current_schema=&username;
REM Create the Catalog objects
@$ORACLE_HOME/rdbms/admin/dbms_cloud_task_catalog.sql
@$ORACLE_HOME/rdbms/admin/dbms_cloud_task_views.sql
@$ORACLE_HOME/rdbms/admin/dbms_cloud_catalog.sql
@$ORACLE_HOME/rdbms/admin/dbms_cloud_types.sql
REM Create the Package Spec
@$ORACLE_HOME/rdbms/admin/prvt_cloud_core.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_task.plb
@$ORACLE_HOME/rdbms/admin/dbms_cloud_capability.sql
@$ORACLE_HOME/rdbms/admin/prvt_cloud_request.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_internal.plb
@$ORACLE_HOME/rdbms/admin/dbms_cloud.sql
@$ORACLE_HOME/rdbms/admin/prvt_cloud_admin_int.plb
REM Create the Package Body
@$ORACLE_HOME/rdbms/admin/prvt_cloud_core_body.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_task_body.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_capability_body.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_request_body.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_internal_body.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_body.plb
@$ORACLE_HOME/rdbms/admin/prvt_cloud_admin_int_body.plb
-- Create the metadata
@$ORACLE_HOME/rdbms/admin/dbms_cloud_metadata.sql
alter session set current_schema=sys;
@$ORACLE_HOME/rdbms/admin/sqlsessend.sql
view raw dbms_cloud_install.sql hosted with ❤ by GitHub

作成したdbms_cloud_install.sqlを実行します。パッケージDBMS_CLOUDはcatcon.plを使って、CDBに作成します。

ユーザーoracleにインストール済みのデータベースの環境を設定します。データベースのSIDは、FREEです。

. oraenv

[oracle@apexs3 ~]$ . oraenv

ORACLE_SID = [oracle] ? FREE

The Oracle base has been set to /opt/oracle

[oracle@apexs3 ~]$


catcon.plを呼び出し、dbms_cloud_install.sqlを実行します。
$ORACLE_HOME/perl/bin/perl $ORACLE_HOME/rdbms/admin/catcon.pl -u sys/[SYSのパスワード] --force_pdb_mode 'READ WRITE' -b dbms_cloud_install -d /home/oracle -l /home/oracle dbms_cloud_install.sql

[oracle@apexs3 ~]$ $ORACLE_HOME/perl/bin/perl $ORACLE_HOME/rdbms/admin/catcon.pl -u sys/****** --force_pdb_mode 'READ WRITE' -b dbms_cloud_install -d /home/oracle -l /home/oracle dbms_cloud_install.sql

catcon::set_log_file_base_path: ALL catcon-related output will be written to [/home/oracle/dbms_cloud_install_catcon_2850.lst]


catcon::set_log_file_base_path: catcon: See [/home/oracle/dbms_cloud_install*.log] files for output generated by scripts


catcon::set_log_file_base_path: catcon: See [/home/oracle/dbms_cloud_install_*.lst] files for spool files, if any


catcon.pl: completed successfully

[oracle@apexs3 ~]$ 


completed successfullyと表示されれば、スクリプトの実行は成功しています。

CDBに接続し、オブジェクトDBMS_CLOUDのステータスを確認します。以下を実行します。

column name format a10
column owner format a20
column object_name format a12
column status format a10
set tab off
select v.name, o.owner, o.object_name, o.status, o.sharing, o.oracle_maintained
from cdb_objects o join v$containers v on o.con_id=v.con_id
where o.object_name = 'DBMS_CLOUD'
order by name;
view raw verify_dbms_cloud.sql hosted with ❤ by GitHub

[oracle@apexs3 ~]$ sqlplus / as sysdba


SQL*Plus: Release 23.0.0.0.0 - Production on Mon Dec 11 13:36:11 2023

Version 23.3.0.23.09


Copyright (c) 1982, 2023, Oracle.  All rights reserved.



Connected to:

Oracle Database 23c Free Release 23.0.0.0.0 - Develop, Learn, and Run for Free

Version 23.3.0.23.09


SQL> column name format a10

column owner format a20

column object_name format a12

column status format a10

set tab off


select v.name, o.owner, o.object_name, o.status, o.sharing, o.oracle_maintained 

from cdb_objects o join v$containers v on o.con_id=v.con_id 

where o.object_name = 'DBMS_CLOUD' 

order by name;SQL> SQL> SQL> SQL> SQL> SQL>   2    3    4  


NAME       OWNER                OBJECT_NAME  STATUS     SHARING            O

---------- -------------------- ------------ ---------- ------------------ -

CDB$ROOT   PUBLIC               DBMS_CLOUD   VALID      METADATA LINK      Y

CDB$ROOT   C##CLOUD$SERVICE     DBMS_CLOUD   VALID      METADATA LINK      Y

CDB$ROOT   C##CLOUD$SERVICE     DBMS_CLOUD   VALID      METADATA LINK      Y

FREEPDB1   PUBLIC               DBMS_CLOUD   VALID      METADATA LINK      Y

FREEPDB1   C##CLOUD$SERVICE     DBMS_CLOUD   VALID      METADATA LINK      Y

FREEPDB1   C##CLOUD$SERVICE     DBMS_CLOUD   VALID      METADATA LINK      Y


6 rows selected.


SQL> 



データベースにSSLウォレットを設定する



Oracle APEXで使用しているSSLウォレットを流用できます。こちらの記事（Oracle APEXの環境作成(9) - REST呼び出しに使うウォレットの作成）に従って作業を行っていると、/home/oracle/wallet以下に自動ログインウォレットが作成済みです。

$ORACLE_HOME/network/admin/sqlnet.oraに以下の１行を追記します。
WALLET_LOCATION=(SOURCE=(METHOD=FILE)(METHOD_DATA=(DIRECTORY=/home/oracle/wallet)))


CDBにACEsを設定する



/home/oracle以下にsetup_aces.sqlを作成し、以下の内容を記述します。

@$ORACLE_HOME/rdbms/admin/sqlsessstart.sql
-- SSL Wallet directory
define sslwalletdir=/home/oracle/wallet
define clouduser=C##CLOUD$SERVICE
-- Create New ACL / ACEs
begin
-- Allow all hosts for HTTP/HTTP_PROXY
dbms_network_acl_admin.append_host_ace(
host =>'*',
lower_port => 443,
upper_port => 443,
ace => xs$ace_type(
privilege_list => xs$name_list('http', 'http_proxy'),
principal_name => upper('&clouduser'),
principal_type => xs_acl.ptype_db));
-- Allow wallet access
dbms_network_acl_admin.append_wallet_ace(
wallet_path => 'file:&sslwalletdir',
ace => xs$ace_type(privilege_list =>
xs$name_list('use_client_certificates', 'use_passwords'),
principal_name => upper('&clouduser'),
principal_type => xs_acl.ptype_db));
end;
/
-- Setting SSL_WALLET database property
begin
if sys_context('userenv', 'con_name') = 'CDB$ROOT' then
execute immediate 'alter database property set ssl_wallet=''&sslwalletdir''';
end if;
end;
/
@$ORACLE_HOME/rdbms/admin/sqlsessend.sql
view raw gistfile1.txt hosted with ❤ by GitHub

CDBに接続し、setup_aces.sqlを実行します。

[oracle@apexs3 ~]$ sqlplus / as sysdba


SQL*Plus: Release 23.0.0.0.0 - Production on Mon Dec 11 13:46:24 2023

Version 23.3.0.23.09


Copyright (c) 1982, 2023, Oracle.  All rights reserved.



Connected to:

Oracle Database 23c Free Release 23.0.0.0.0 - Develop, Learn, and Run for Free

Version 23.3.0.23.09


SQL> @setup_aces.sql


Session altered.


old   9:     principal_name => upper('&clouduser'),

new   9:     principal_name => upper('C##CLOUD$SERVICE'),

old  14:     wallet_path => 'file:&sslwalletdir',

new  14:     wallet_path => 'file:/home/oracle/wallet',

old  17:     principal_name => upper('&clouduser'),

new  17:     principal_name => upper('C##CLOUD$SERVICE'),


PL/SQL procedure successfully completed.


old   3: execute immediate 'alter database property set ssl_wallet=''&sslwalletdir''';

new   3: execute immediate 'alter database property set ssl_wallet=''/home/oracle/wallet''';


PL/SQL procedure successfully completed.



Session altered.


SQL> 



PDBにACEsを設定する



PDBにACEsの許可を与えたロールを作成します。ロール名はCLOUD_USER_ROLEとします。PDBにSYSで接続し、以下のスクリプトを実行します。

@$ORACLE_HOME/rdbms/admin/sqlsessstart.sql
-- SSL Wallet directory
define sslwalletdir=/home/oracle/wallet
define cloudrole=CLOUD_USER_ROLE
-- Create New ACL / ACEs
begin
-- Allow all hosts for HTTP/HTTP_PROXY
dbms_network_acl_admin.append_host_ace(
host =>'*',
lower_port => 443,
upper_port => 443,
ace => xs$ace_type(
privilege_list => xs$name_list('http', 'http_proxy'),
principal_name => upper('&cloudrole'),
principal_type => xs_acl.ptype_db));
-- Allow wallet access
dbms_network_acl_admin.append_wallet_ace(
wallet_path => 'file:&sslwalletdir',
ace => xs$ace_type(privilege_list =>
xs$name_list('use_client_certificates', 'use_passwords'),
principal_name => upper('&cloudrole'),
principal_type => xs_acl.ptype_db));
end;
/
@$ORACLE_HOME/rdbms/admin/sqlsessend.sql
view raw gistfile1.txt hosted with ❤ by GitHub

スクリプト名はconfigure_role.sqlとします。

Oracle APEXの環境を手順通りに作成していると、FREEPDB1というPDBにAPEXがインストールされています。

以下を実行します。

sqlplus / as sysdba
alter session set container=FREEPDB1;
create role CLOUD_USER_ROLE;
@configure_role

[oracle@apexs3 ~]$ sqlplus / as sysdba


SQL*Plus: Release 23.0.0.0.0 - Production on Mon Dec 11 14:05:14 2023

Version 23.3.0.23.09


Copyright (c) 1982, 2023, Oracle.  All rights reserved.



Connected to:

Oracle Database 23c Free Release 23.0.0.0.0 - Develop, Learn, and Run for Free

Version 23.3.0.23.09


SQL> alter session set container=FREEPDB1;


Session altered.


SQL> create role CLOUD_USER_ROLE;


Role created.


SQL> @configure_role


Session altered.


old   9:     principal_name => upper('&cloudrole'),

new   9:     principal_name => upper('CLOUD_USER_ROLE'),

old  14:     wallet_path => 'file:&sslwalletdir',

new  14:     wallet_path => 'file:/home/oracle/wallet',

old  17:     principal_name => upper('&cloudrole'),

new  17:     principal_name => upper('CLOUD_USER_ROLE'),


PL/SQL procedure successfully completed.



Session altered.


SQL> 


ロールCLOUD_USER_ROLEに、ビューDBA_CREDENTIALSのSELECT権限とパッケージDBMS_CLOUDの実行権限を与えます。

grant select on dba_credentials to cloud_user_role;
grant execute on dbms_cloud to cloud_user_role;

SQL> grant execute on dbms_cloud to cloud_user_role;


Grant succeeded.


SQL> grant select on dba_credentials to cloud_user_role;


Grant succeeded.


SQL> 


APEXのワークスペースのスキーマに作成したロールを割り当てます。以下ではWKSP_APEXDEVというスキーマが作成済みとしています。

grant cloud_user_role to <ワークスペース・スキーマ>;

SQL> grant cloud_user_role to wksp_apexdev;


Grant succeeded.


SQL> 


以上で、Oracle APEXのSQLコマンドより、パッケージDBMS_CLOUDを呼び出す準備ができました。


DBMS_CLOUDを呼び出す



Amazon S3にアクセスするクリデンシャルcred_demouserを作成します。
begin
    dbms_cloud.create_credential(
        credential_name => 'cred_demouser'
        ,username => 'アクセスキー'
        ,password => 'シークレットアクセスキー'
    );
end;


作成されたクリデンシャルを確認します。

select * from dba_credentials;


内容にmy first uploadと記載したファイルtest.txtを、S3のバケットにアップロードします。
declare
    l_resp dbms_cloud_types.resp;
    l_blob blob;
    l_clob clob;
begin
    l_clob := 'my first upload';
    l_blob := apex_util.clob_to_blob(l_clob);
    l_resp := dbms_cloud.send_request(
        credential_name => 'cred_demouser'
        ,uri => 'https://s3.us-east-1.amazonaws.com/myoraclefreebucket/test.txt'
        ,method => 'PUT'
        ,body => l_blob
    );
end;

バケットの内容をリストします。test.txtがアップロードされていることが確認できます。
select * from dbms_cloud.list_objects(
    credential_name => 'cred_demouser'
    ,location_uri => 'https://s3.us-east-1.amazonaws.com/myoraclefreebucket'
)

AWSコンソールからも確認できます。


ファイルtest.txtを取得します。ファイルの内容がmy first uploadとして表示されます。
declare
    l_resp dbms_cloud_types.resp;
    l_clob clob;
begin
    l_resp := dbms_cloud.send_request(
        credential_name => 'cred_demouser'
        ,uri => 'https://s3.us-east-1.amazonaws.com/myoraclefreebucket/test.txt'
        ,method => 'GET'
    );
    l_clob := dbms_cloud.get_response_text(
        resp => l_resp
    );
    dbms_output.put_line(l_clob);
end;


ファイルtest.txtを削除します。
begin
    dbms_cloud.send_request(
        credential_name => 'cred_demouser'
        ,uri => 'https://s3.us-east-1.amazonaws.com/myoraclefreebucket/test.txt'
        ,method => 'DELETE'
    );
end;

再度、バケット内のファイルをリストします。データが見つかりませんと返されます。


AWSコンソールからも、オブジェクトが存在しないことが確認できます。


今回の記事は以上になります。

Oracle APEXのアプリケーション作成の参考になれば幸いです。

完
投稿者 時刻:
ラベル: ,