マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Pentaho Data Integration

【OSS情報アーカイブ】Pentaho Data Integration

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Pentaho Data Integration」とは

概要

Pentaho Data Integration(ペンタホデータインテグレーション)はETLツールです。革新的なメタデータ駆動型アプローチを使用して、強力な「データ抽出」「データ変換」「データ読み込み」などを実行できます。開発経緯から「Kettle」とも呼ばれます。

基本説明

Pentaho Data Integration(PDI)(Kettle)は、「変換構築」「ジョブスケジュール」などを実行できるETLデスクトップアプリケーションです。

「直感的でグラフィカルなドラッグアンドドロップ設計環境」と「実績のあるスケーラブルな標準ベースアーキテクチャ」を備えたPDIは、「キャプチャ」「クレンジング」「保存プロセス」などのデータに関する操作をシンプルに実行できます。

開発経緯

Pentahoが、PDIのベースとなったKettle(Kettle Extraction Transformation Transport LoadEnvironment)を買収した時に「Pentaho Data Integration」に改名されました。

ユースケース

・異なるデータベースおよびアプリケーション間のデータ移行
・巨大データセットをデータベースにロード
・範囲ステップによるデータクレンジング
・PentahoReportingのデータソースとしてリアルタイムETLを活用する機能を含むデータ統合
・データウェアハウス構築—少しずつ変化するディメンションと代理キー作成に対するサポート など

オフィシャルサイト情報

■オフィシャルサイト

→community.hitachivantara.com →data-integration-kettle

■GitHub

→github.com →pentaho/pentaho-kettle

■主要開発元

Pentaho Data Integrationは、community.hitachivantara.comが中心となり開発が進められています。

→community.hitachivantara.com

■ライセンス情報

Pentaho Data Integrationのライセンスは「Apache License 2.0」です。

詳細について、こちらを参照ください。
→github.com →pentaho/pentaho-kettle →LICENSE.txt

■動作環境

「Linux」「Windows」「MacOS」がサポートされています。

■ダウンロード

→github.com →pentaho/pentaho-kettle

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Talend Open Studio」など。

変換機能

PDIの変換は、ステップと呼ばれる論理的なタスクのネットワークであり、データフローとして表現されます。

ジョブ機能

PDIのジョブは、ETLアクティビティの「リソース」「実行」「依存関係」を調整するためのワークフローのようなモデルです。

個々の機能を集約してプロセス全体を実装します。

Pentahoリポジトリ

Pentahoリポジトリは、ジョブと変換の保存と管理に加えて、完全なリビジョン履歴を提供します。

チームで共同ETL環境が必要な場合は、Pentahoリポジトリの使用が推奨されています。

プラグイン機能

コアプラグインとして各種プラグインが提供されています。

→github.com →pentaho/pentaho-kettle →plugins

負荷分散機能

PDIは、トランスフォーメーションクラスタリングを使用する場合に、トランスフォーメーション内および複数クラスタノードにわたるデータ負荷分散機能を提供します。

ロギング機能

ロギングは、「挿入されたレコード数」「変換に費やされた合計経過時間」など、ジョブや変換に関する要約情報を提供します。

また、例外やエラーなどの「デバッグ詳細情報」も提供します。

参考元サイト

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

【ChatGPT探訪】GPT-4V「 画像解析機能 」🔍

ChatGPT探訪

2023.11.10

【ChatGPT探訪】GPT-4V「 画像解析機能 」🔍

ChatGPT4の「 画像解析機能 」について、 画像読み込み機能チェックを実施してみました🔍 「請求書不備チェック」は便利なのですが、 クローズドGPTを使いたくなります🤔 さまざまな用途に活用できる可能性を感じました🌟 いろいろ分析してくれるので、 試してみてください👍

【ChatGPT探訪】ビルトイン画像生成AI「 DALL·E 3 」🖼️

ChatGPT探訪

2023.10.27

【ChatGPT探訪】ビルトイン画像生成AI「 DALL·E 3 」🖼️

ChatGPTに統合されている画像生成AI「 DALL·E 3 」について、 いろいろいじりつつ🔍 各種画像生成チェックを実施してみました🎨 商用利用OKの💼 「日常的に使える画像生成ツール」として活用できそう😊 という感じになりました。 Bing経由でも無料で使えるので🆓 試してみてください👍

AIツール関連 記事リストポータル

AIツール

2023.10.05

AIツール関連 記事リストポータル

AI 関連の記事をまとめたポータルページです。