GoogleのDocument AIのAPIを呼び出してOCRを実行してみます。
GoogleのDocument AIですが、料金のページにあるようにCloud Vision、Cloud Natural Language API、Vertex AIの料金が適用されます。ドキュメントOCRプロセッサではCloud Visionが使用されるため、Cloud Visionの料金を確認します。
Cloud Visionの料金を確認すると、すべての機能について最初の 1,000 ユニット/月は無料となっています。APEXのアプリケーションを作ってAPIの呼び出しを確認する程度であれば、費用が発生することはなさそうです。
将来に無料枠が無くなる、または、条件が変わる可能性はあります。お金が関わることですし、Googleが提供している情報はご自身で確認してください。
Document AIのAPIは、サービス・アカウントを作成して、その権限で呼び出します。サービス・アカウントの作成は、以前にIndexing APIの呼び出しで紹介したことがあります。少し手順を変更するため、繰り返しにはなりますが、サービス・アカウントの作成も含めて作業手順を記述します。
作成したAPEXアプリケーションは以下のように動作します。
スタバのレシートから文字を抽出しています。文字や数値は、すべて抽出されていることが確認できます。
以下よりGoogle Cloud側の作業手順を記述します。
プロジェクトは作成済みとします。
Google側での準備
APIとサービスを開き、APIとサービスの有効化をクリックします。
Cloud Document AI APIの有効にするをクリックし、有効にします。料金のNumber of pages processed for OCR processorを選択すると、OCRには無料枠があることが確認できます。
APIが有効になります。タブの認証情報を開いて、サービス・アカウントを作成します。認証情報を作成をクリックするとウィザードが開始しますが、今回は使用しません。
認証情報の作成をクリックし、作成する認証情報としてサービスアカウントを選択します。
サービスアカウント名とサービスアカウントIDを指定します。サービスアカウントIDの下に表示されるメールアドレスは、APEXアプリケーションからDocument AI APIを呼び出す際に使用します。そのため、コピーをとって記録しておきます。
作成して続行をクリックします。
ステップ３のユーザーにこのサービスアカウントへのアクセスを許可（省略可）は省略するので続行はせず、ここで完了をクリックします。
IAMと管理のIAMを開くと、作成したサービスアカウントが権限に含まれていることが確認できます。
キーのタブを開き、鍵を追加から新しい鍵を作成を選択します。
キーのタイプとしてP12（PKCS#12形式）を選択し、作成を実行します。この鍵はPL/SQLのパッケージDBMS_CRYPTOで使用するため、PKCS#1またはPKCS#8形式に変換します。JSONが推奨となっていますが、opensslコマンドを使用するため扱いやすいP12を選択しています。
作成をクリックします。
秘密鍵が手元のPCにダウンロードされます。opensslで形式変換する際に、秘密鍵のパスワードを聞かれるため、表示されている秘密鍵のパスワードをクリップボードにコピーし、保存しておきます。
閉じるをクリックします。
ダウンロードされたPKCS#12形式のファイルをPKCS#8形式に変換します。openssl pkcs12コマンドを使用します。
openssl pkcs12 -in ダウンロードされたファイル -nocerts -nodes -out 出力ファイル
Enter Import Password:には秘密鍵のパスワードを入力します。
以下の例では、秘密鍵をdocument-ai-api.keyというファイルに出力しています。
$ openssl pkcs12 -in <秘密鍵のファイル> -nocerts -nodes -out document-ai-api.key
Enter Import Password: 秘密鍵のパスワード
MAC verified OK
$
以上でサービス・アカウントに関する準備は完了です。
これからOCRを準備します。
Document OCRのプロセッサを作成しますをクリックします。
画面右にドロワーが開きます。
プロセッサ名は任意ですが、今回はOCRとしました。リージョンはUS(米国)を選択しています。
作成をクリックします。
プロセッサOCRが作成されます。
予測エンドポイントは、APEX側からREST APIとして呼び出すURLになります。コピーして記録しておきます。
APEX側の準備
Document AI APIを呼び出す際に使用するWeb資格証明を作成します。
ワークスペース・ユーティリティのWeb資格証明を開きます。
作成済みのWeb資格証明が一覧されます。作成をクリックします。
作成するWeb資格証明の名前はGoogle Document AI API Token、静的IDはGOOGLE_DOCUMENT_AI_API_TOKENとします。
認証タイプとしてHTTPヘッダーを選択します。
資格証明名としてHTTPヘッダー名であるAuthorization、資格証明シークレットとしてAuthorizationヘッダーの値になる任意の文字列を入力します。資格証明名、資格証明シークレットはPL/SQLコードを実行して更新するため、現時点では何を入力してもかまいません。
URLに対して有効は必須ではありませんが、OCRプロセッサをUSに作成したため、以下の値を指定しています。
https://us-documentai.googleapis.com/
以上で作成をクリックします。
静的IDがGOOGLE_DOCUMENT_AI_API_TOKENであるWeb資格証明が作成されました。
パッケージUTIL_GOOGLE_APIを作成します。
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| create or replace package util_google_api | |
| as | |
| C_TOKEN_URL constant varchar2(160) := | |
| 'https://oauth2.googleapis.com/token?grant_type=urn%3Aietf%3Aparams%3Aoauth%3Agrant-type%3Ajwt-bearer' || chr(38)|| 'assertion='; | |
| /* | |
| * Googleのプロジェクトに登録したサービス・アカウントのキーより | |
| * JWTを生成する。 | |
| */ | |
| function generate_jwt( | |
| p_secret in varchar2 | |
| ,p_iss in varchar2 default null | |
| ,p_sub in varchar2 default null | |
| ,p_scope in varchar2 default null | |
| ,p_aud in varchar2 default null | |
| ,p_iat in timestamp default current_timestamp | |
| ,p_duration in number default 3600 -- 秒で指定する | |
| ) | |
| return varchar2; | |
| /* | |
| * JWTを使ってBearerトークンを取得する。 | |
| */ | |
| function get_token( | |
| p_jwt in varchar2 | |
| ,p_credential_static_id in varchar2 default null | |
| ) | |
| return varchar2; | |
| end util_google_api; | |
| / | |
| create or replace package body util_google_api | |
| as | |
| /* | |
| * OracleのTIMESTAMP型のデータをUNIX時間に変換する。 | |
| */ | |
| function unixtime(p_timestamp in timestamp) | |
| return pls_integer | |
| is | |
| l_date date; | |
| l_epoc number; | |
| begin | |
| l_date := sys_extract_utc(p_timestamp); | |
| l_epoc := l_date - date'1970-01-01'; | |
| return l_epoc * 24 * 60 * 60; | |
| end unixtime; | |
| /* BASE64のデコード */ | |
| function from_base64(t in varchar2) return varchar2 is | |
| begin | |
| return utl_raw.cast_to_varchar2(utl_encode.base64_decode(utl_raw.cast_to_raw(t))); | |
| end from_base64; | |
| /* BASE64へのエンコード - RAWより */ | |
| function to_base64_from_raw(t in raw) return varchar2 is | |
| l_base64 varchar2(32767); | |
| begin | |
| l_base64 := utl_raw.cast_to_varchar2(utl_encode.base64_encode(t)); | |
| l_base64 := replace(l_base64, chr(13)||chr(10), ''); | |
| return l_base64; | |
| end to_base64_from_raw; | |
| /* BASE64へのエンコード - VARCHAR2 */ | |
| function to_base64(t in varchar2) return varchar2 is | |
| begin | |
| return to_base64_from_raw(utl_raw.cast_to_raw(t)); | |
| end to_base64; | |
| /* 秘密鍵を一行にする。 */ | |
| function convert_to_single_line( | |
| p_string in varchar2 | |
| ) | |
| return varchar2 | |
| as | |
| begin | |
| return regexp_replace( | |
| p_string | |
| ,'(-+((BEGIN|END) (RSA )?(PUBLIC|PRIVATE) KEY)-+\s?|\s)' | |
| ,'' | |
| ); | |
| end convert_to_single_line; | |
| /* JWTを生成する実装 */ | |
| function generate_jwt( | |
| p_secret in varchar2 | |
| ,p_iss in varchar2 | |
| ,p_sub in varchar2 | |
| ,p_scope in varchar2 | |
| ,p_aud in varchar2 | |
| ,p_iat in timestamp | |
| ,p_duration in number -- second | |
| ) | |
| return varchar2 | |
| as | |
| l_iat pls_integer; | |
| l_exp pls_integer; | |
| l_header_json json_object_t; | |
| l_header_str varchar2(32767); | |
| l_header_base64 varchar2(32767); -- 1st part of JWT | |
| l_payload_json json_object_t; | |
| l_payload_str varchar2(32767); | |
| l_payload_base64 varchar2(32767); -- 2nd part of JWT | |
| l_data varchar2(32767); | |
| l_hmac_raw raw(32767); | |
| l_hmac varchar2(32767); -- 3rd part of JWT | |
| l_jwt varchar2(32767); | |
| begin | |
| /* iatとexpとなる値を求める。 */ | |
| l_iat := unixtime(p_iat); | |
| l_exp := l_iat + p_duration; | |
| /* ヘッダーを手作業で作成し、BASE64でエンコードする。 */ | |
| l_header_json := json_object_t(); | |
| l_header_json.put('alg','RS256'); | |
| l_header_json.put('typ','JWT'); | |
| l_header_str := l_header_json.to_string(); | |
| l_header_base64 := to_base64(l_header_str); -- ヘッダー | |
| /* ペイロードを手作業で作成し、BASE64でエンコードする。 */ | |
| l_payload_json := json_object_t(); | |
| if p_iss is not null then | |
| l_payload_json.put('iss', p_iss); | |
| end if; | |
| if p_sub is not null then | |
| l_payload_json.put('sub', p_sub); | |
| end if; | |
| if p_scope is not null then | |
| l_payload_json.put('scope', p_scope); | |
| end if; | |
| if p_aud is not null then | |
| l_payload_json.put('aud', p_aud); | |
| end if; | |
| l_payload_json.put('iat', l_iat); | |
| l_payload_json.put('exp', l_exp); | |
| l_payload_str := l_payload_json.to_string(); | |
| l_payload_base64 := to_base64(l_payload_str); -- ペイロード | |
| -- シグネチャを手作業で作成する。 | |
| l_data := l_header_base64 || '.' || l_payload_base64; | |
| l_hmac_raw := dbms_crypto.sign( | |
| src => utl_i18n.string_to_raw(l_data,'AL32UTF8'), | |
| prv_key => utl_i18n.string_to_raw(convert_to_single_line(p_secret),'AL32UTF8'), | |
| pubkey_alg => DBMS_CRYPTO.KEY_TYPE_RSA, | |
| sign_alg => DBMS_CRYPTO.SIGN_SHA256_RSA | |
| ); | |
| l_hmac := to_base64_from_raw(l_hmac_raw); | |
| l_hmac := trim(translate(l_hmac, '+/=', '-_ ')); -- HMAC | |
| /* JSON Web Tokenを返す。 */ | |
| l_jwt := l_header_base64 || '.' || l_payload_base64 || '.' || l_hmac; | |
| return l_jwt; | |
| end generate_jwt; | |
| /* トークンを取得する実装 */ | |
| function get_token( | |
| p_jwt in varchar2 | |
| ,p_credential_static_id in varchar2 | |
| ) | |
| return varchar2 | |
| as | |
| l_request_url varchar2(32767); | |
| l_token_clob clob; | |
| l_token_json json_object_t; | |
| l_token varchar2(32767); | |
| begin | |
| l_request_url := C_TOKEN_URL || p_jwt; | |
| apex_web_service.clear_request_headers; | |
| apex_web_service.set_request_headers('Content-Length',0,p_reset => false); | |
| l_token_clob := apex_web_service.make_rest_request( | |
| p_url => l_request_url | |
| ,p_http_method => 'POST' | |
| ); | |
| l_token_json := json_object_t(l_token_clob); | |
| l_token := l_token_json.get_string('token_type') || ' ' || l_token_json.get_string('access_token'); | |
| /* | |
| * Web資格証明の静的IDが指定されている場合は、アップデートする。 | |
| */ | |
| if p_credential_static_id is not null then | |
| apex_credential.set_session_credentials( | |
| p_credential_static_id => p_credential_static_id | |
| ,p_username => 'Authorization' | |
| ,p_password => l_token | |
| ); | |
| end if; | |
| return l_token; | |
| end get_token; | |
| end util_google_api; | |
| / |
以下のコードを実行します。
サービス・アカウントの秘密鍵よりJWTを生成し、それを使ってアクセス・トークンを取得します。取得したアクセス・トークンをWeb資格証明のGOOGLE_DOCUMENT_AI_API_TOKENに設定しています。
サービス・アカウントの秘密鍵やメール・アドレスはそれぞれ置き換えます。
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| set serveroutput on | |
| declare | |
| C_RSA_KEY constant varchar2(32767) := q'~ | |
| -----BEGIN PRIVATE KEY----- | |
| サービス・アカウントに作成した秘密鍵 | |
| -----END PRIVATE KEY----- | |
| ~'; | |
| C_ISS constant varchar2(400) := 'サービス・アカウントのメールアドレス'; | |
| C_SCOPE constant varchar2(400) := 'https://www.googleapis.com/auth/cloud-platform'; | |
| C_AUD constant varchar2(400) := 'https://oauth2.googleapis.com/token'; | |
| C_CRED_ID constant varchar2(400) := 'GOOGLE_DOCUMENT_AI_API_TOKEN'; | |
| C_WORKSPACE constant varchar2(400) := 'APEXのワークスペース'; | |
| l_workspace_id number; | |
| l_jwt varchar2(32767); | |
| l_token varchar2(32767); | |
| begin | |
| l_jwt := util_google_api.generate_jwt( | |
| p_secret => C_RSA_KEY | |
| ,p_iss => C_ISS | |
| ,p_scope => C_SCOPE | |
| ,p_aud => C_AUD | |
| ); | |
| dbms_output.put_line(l_jwt); | |
| l_token := util_google_api.get_token(l_jwt); | |
| dbms_output.put_line(l_token); | |
| l_workspace_id := apex_util.find_security_group_id( | |
| p_workspace => C_WORKSPACE | |
| ); | |
| apex_util.set_security_group_id( | |
| p_security_group_id => l_workspace_id | |
| ); | |
| apex_credential.set_persistent_credentials( | |
| p_credential_static_id => C_CRED_ID | |
| ,p_username => 'Authorization' | |
| ,p_password => l_token | |
| ); | |
| commit; | |
| end; | |
| / |
このコードは、SQLclなどでワークスペース・スキーマに接続して実行することを想定しています。そのため、APEX_CREDENTIAL.SET_PERSISTENT_CREDENTIALSを呼び出す前にAPEX_UTIL.SET_SECURITY_GROUP_IDを呼び出しワークスペースを設定しています。
SQLワークスペースのSQLコマンドやSQLスクリプトからも実行できますが、秘密鍵の情報がSQLの実行履歴として残るといった、できれば避けたい状況が発生します。秘密鍵を安全に保存した上でJWTを生成するには、特別な作り込みが必要です。
OCIのボールトではできず（こちらの記事で説明しています）、APEXでは23.1よりWeb資格証明の認証タイプにキー・ペアが新たに追加されていますが、保存した秘密キーを使って署名を行なう機能は提供されていません。
Googleのサービス・アカウントの秘密鍵なので、GoogleのCloud Key Managementに秘密鍵を保存して、それを使ってJWTを生成するのが合理的だろうと思います。微々たる金額ですが、無料枠が見つからなかったのと、今回の主題からは外れるため実装からは外しました。
APEXアプリケーションの作成
GoogleのDocument AI APIを呼び出してOCRを実行するAPEXアプリケーションを作成します。
アプリケーション作成ウィザードを起動し、空のアプリケーションを作成します。名前はGoogle Document AI OCRとします。
OCRを呼び出すURLを、アプリケーション定義の置換に定義します。
置換文字列はG_PROCESS_URL、置換値は作成したOCRプロセッサの予測エンドポイントです。
OCRの処理はホーム・ページに実装します。
ページ・デザイナでホーム・ページを開きます。
最初にOCRを実行するイメージ・ファイルを指定するためのページ・アイテムを作成します。
識別の名前はP1_IMAGE、タイプとしてファイル参照...、ラベルはImageとします。
設定の表示形式にInline Dropzone、記憶域タイプとして事前準備の不要なTable APEX_APPLICATION_TEMP_FILESを選択します。ファイルをパージするタイミングはEnd of Sessionです。
セッション・ステートのストレージとしてセッションごと(永続)を選択します。
OCRを実行する（OCRを実行するREST APIを呼び出す）ボタンを作成します。
識別のボタン名はSUBMIT、ラベルはSubmitとします。動作のアクションはデフォルトのページの送信です。
デバッグ用途として、REST APIが返すレスポンスをそのまま表示するページ・アイテムを作成します。
識別の名前はP1_RESPONSE、タイプはテキスト領域、ラベルはResponseとします。セッション・ステートのデータ型はCLOB、ストレージとしてセッションごと(永続)を選択します。
OCRによって抽出された文字列を表示するページ・アイテムを作成します。
識別の名前はP1_TEXT、タイプはテキスト領域、ラベルはTextとします。セッション・ステートのデータ型はCLOB、ストレージとしてセッションごと(永続)を選択します。
OCRにかけたイメージを表示するページ・アイテムを作成します。
識別の名前はP1_DISPLAY_IMAGE、タイプはイメージの表示、ラベルはImageとします。
設定の基準としてBLOB Column returned by SQL statementを選択し、SQL文に以下を記述します。
select blob_content from apex_application_temp_files where name = :P1_IMAGE
レイアウトの新規行の開始をオフにして、抽出された文字列の右にイメージを配置します。セッション・ステートのストレージとしてリクエストごと(メモリーのみ)を選択します。
プロセス・ビューを開き、OCRを実行するプロセスを作成します。
識別の名前はExtract Text from Image、タイプとしてコードを実行を選択します。ソースのPL/SQLコードとして以下を記述します。
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
| declare | |
| l_blob blob; | |
| l_clob clob; | |
| l_mime_type varchar2(80); | |
| l_request json_object_t; | |
| l_raw_document json_object_t; | |
| l_response clob; | |
| l_response_json json_object_t; | |
| l_document json_object_t; | |
| begin | |
| select blob_content, mime_type into l_blob, l_mime_type | |
| from apex_application_temp_files | |
| where name = :P1_IMAGE; | |
| l_clob := apex_web_service.blob2clobbase64( | |
| p_blob => l_blob | |
| ); | |
| l_clob := replace(l_clob, chr(13)||chr(10), ''); | |
| -- translateの要不要は確認していない。 | |
| -- l_clob := trim(translate(l_clob, '+/=', '-_ ')); | |
| l_raw_document := json_object_t(); | |
| l_raw_document.put('mimeType', l_mime_type); | |
| l_raw_document.put('content', l_clob); | |
| l_request := json_object_t(); | |
| l_request.put('rawDocument', l_raw_document); | |
| apex_web_service.clear_request_headers; | |
| apex_web_service.set_request_headers('Accept','application/json',p_reset => false); | |
| apex_web_service.set_request_headers('Content-Type','application/json',p_reset => false); | |
| l_response := apex_web_service.make_rest_request( | |
| p_url => :G_PROCESS_URL | |
| ,p_http_method => 'POST' | |
| ,p_body => l_request.to_clob() | |
| ,p_credential_static_id => 'GOOGLE_DOCUMENT_AI_API_TOKEN' | |
| ); | |
| :P1_RESPONSE := l_response; | |
| l_response_json := json_object_t.parse(l_response); | |
| l_document := l_response_json.get_object('document'); | |
| :P1_TEXT := l_document.get_string('text'); | |
| end; |
サーバー側の条件のボタン押下時にSUBMITを指定します。
以上でAPEXアプリケーションは完成です。
アプリケーションを実行すると記事の先頭のGIF動画のように動作します。
今回作成したAPEXアプリケーションのエクスポートを以下に置きました。
https://github.com/ujnak/apexapps/blob/master/exports/google-document-ai-ocr.zip
Oracle APEXのアプリケーション作成の参考になれば幸いです。
追記
Oracle CloudにはDocument Understandingというサービスがあり、その中のText extractionがOCRにあたる処理をします。こちらも無料枠は提供されているため、アップグレードする必要がある、とバナーに表示されていても動作確認は可能です。
同じイメージでテキスト抽出を行ってみましたが、日本語の抽出はできませんでした。
完
