OCI GoldenGate のデータ・レプリケーションとデータ変換のデプロイメントを使用して、データのロードおよび変換を試してみよう。(1/3)

2024年10月23日 Oracle Cloud

1 はじめに
2 前提知識
- 2.1 OCI GoldenGate Data Transforms の概略
3 検証環境
4 検証内容のサマリー
5 デプロイメントの作成
- 5.1 OCI GoldenGate Data Transforms デプロイメントの作成
6 接続エンドポイントの作成と割当て
7 さいごに

はじめに

みなさん、こんにちは。
Oracle Cloud Infrastructure 検証チームです。

今回は、
Oracle Cloud Infrastructure (以下OCI) GoldenGate のデータ・レプリケーションとデータ変換のデプロイメントを使用して、データのロードおよび変換の検証を実施しましたので、3回に分けてご紹介したいと思います。

ホットな話題ですね！
今回の執筆者はOCI関連資格４冠を達成しました！に登場した事業部員です。
当社でトップクラスのOracleの技術力を持つプラチナホルダーです！

前提知識

OCI GoldenGate Data Transforms の概略

以下、「オラクルエンジニア通信 – 技術資料、マニュアル、セミナー」のブログ記事からの抜粋です。

https://blogs.oracle.com/oracle4engineer/post/oci-goldengatedata-transforms
OCI GoldenGateにData Transformsを使用したバッチ・データ統合処理を追加

OCI GoldenGate Data Transformsとは？

Data Transformsは、豊富なデータ変換、機械学習、バッチ/マイクロバッチETL/ELT機能を備えたデータパイプラインを開発するための使いやすいドラッグアンドドロップ、コード不要のアプローチです。データ形式の変換、フィルタの適用、データ導出の実行などを簡単に行うことができます。

OCI GoldenGateと連携する開発者およびデータ・エンジニアは、Autonomous Databaseの有無にかかわらずData Transformsデプロイメントを作成し、OCI GoldenGateでサポートされている任意のソースまたはターゲットと統合し、クラス最高のGoldenGateデータ・レプリケーション機能をクラウド・データ・パイプラインの複雑なバッチ・データ処理と組み合せることができます。

Data Tranformsの接続

Data Transformsのパイプラインは、OCIのソースとターゲットを超えて拡張されています。膨大な量のコネクタとハンドラを使用すると、Data Transformsを使用して、異機種間、ハイブリッドおよびマルチクラウドのデータ・ファブリックを接続できます。

…(中略)…

OCI GoldenGateは、異機種間データベースやクラウド・アプリケーションで作業する場合でも、複雑なデータ構造に対応する場合でも、データ統合プロセスを合理化し、データが常に正確で一貫性があり、企業全体ですぐに使用できるようにします。

OCI GoldenGate ReplicationとData Transforms ETLの連携

大きなメリットは、バッチベースのData Transformsとリアルタイムのデータ・レプリケーション・パイプラインを組み合わせることです。GoldenGateのキャプチャおよび適用機能(抽出およびレプリケート)はミリ秒単位でデータを移動し、Data Transformsはデータを取得して多数のアプリケーション・サービスに接続するか、さらにスター・スキーマ、メッセージ・ファイルまたはその他のデータ・ストアに変換してロードします。

…(中略)…

利点

OCI GoldenGateとData Transformsは、次の主な利点を提供します:

統合データ・インテグレーション・サービス: OCI GoldenGateは、3つのミッションクリティカルなデータ統合処理機能を単一の統合サービス(CDCを使用したデータベース・レプリケーション、継続的インテグレーション(CTL)、バッチ統合(ELT/ETL)に結合します。これに加え、ほぼすべてのテクノロジーにまたがる100以上のデータ・コネクタとハンドラがあり、ハイブリッドおよびマルチクラウドのデータ・ファブリック全体でのデータ移動が可能になります。
業界をリードするパフォーマンス: OCI GoldenGate Data TransformsとそのELTアーキテクチャは、Oracle Autonomous Databaseなどの最新のスケーラブルなクラウド・テクノロジーを使用して、データ変換と操作を実行します。
コストと運用オーバーヘッドの削減: OCI GoldenGate Data Transformsは、フルマネージドのクラウド・データ・パイプライン・サービスです。パッチの適用、デプロイメントのアップグレード、可用性の確保など、ほとんどの管理アクティビティを簡素化および自動化します。

ブログ記事の冒頭に「OCI GoldenGate Data Transformsは、分析、データ・サイエンス、およびデータレイクハウス・プロジェクト用のデータ・パイプラインを構築するための適切な選択肢である。」と書かれていますね。

検証環境

検証実施前の前提条件

検証実施前の前提条件として、下記準備作業が事前に完了していることとします。

OCI GoldenGate for Oracle デプロイメントは作成済みであり、Web ブラウザでデプロイメント・コンソール管理画面へのアクセスが可能であること
ソース・データベースとターゲット・データベースのネットワーキングおよび接続設定、及び各データベースが各デプロイメントにそれぞれ割当て済みであること
ソース・データベースとターゲット・データベースに対して、 GoldenGate 使用にあたって事前に必要な各種設定が完了していること
ソース・データベースとターゲット・データベースに対して、サンプル・スキーマが作成されテスト・データがロード済みであること

検証環境の構成イメージ図と使用バージョン

今回のOCI検証環境の構成イメージ図と各製品コンポーネントの使用バージョンは以下の通りです。

■構成イメージ図

■使用バージョン

ソース・データベース: BaseDB23ai (23.5.0.24.07)
ターゲット・データベース: BaseDB19.24 (19.24.0.0.0)
OCI GoldenGate for Oracle DB: 23ai(oggoracle:23.5.0.0.0_240728.2258_1055)
OCI GoldenGate for Oracle Data Transforms: 23ai(oggodi:24.06.20.0.0_240709.1258_1055)