マジセミドライブ

ウェビナー関連のニュースやITサービス&ツールの最新情報を随時配信します。

OSS情報

2020.01.01

【OSS情報アーカイブ】Apache Flink

【OSS情報アーカイブ】Apache Flink

※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。

「Apache Flink」とは

基本情報

概要

Apache Flink(アパッチフリンク)とは、分散ストリーム処理プラットフォームです。バッチ処理にも対応し、耐障害性/拡張性を備えたストリーム処理基盤です。

基本説明

Apache Flinkは、ストリーム基盤として「データディストリビューション機能」「通信機能」「データストリームフォールトトレランス機能」「柔軟なAPI連携機能」などを備えています。本体はScalaで実装されています。

「ユーザコードによるメモリ枯渇が発生しない」「ガーベージコレクション削減」「効率的ディスクI/O」「ランタイムチューニング不要」「堅牢」「安定パフォーマンス」「機械学習/グラフ処理ライブラリ」などの特徴があります。

「Apache Spark」との相違点

同様な製品として「Apache Spark」があります。

「Spark」はバッチ処理からストリーム処理に派生したイメージです。それに対して「Flink」はストリーム処理からバッチ処理に派生しています。「Flink」は、耐障害性/ストリーミングを最優先しています。

主な特徴

All-in-One構成

Flinkでは同一のランタイムで「ストリーム処理」と「バッチ処理」を実行可能です。「複合イベント処理」「機械学習」「SQLライクAPI」も提供しています。

優れた耐障害性

Flinkは、耐障害性に優れているのが大きな特徴です。各処理をステートフルで扱っており、障害が発生した際には、処理を自動で復旧させる機能を有しています。

Flinkで処理されるイベントは、正確に1回だけ実行する「Exactly-once」ポリシーに基づいて処理されます。

「Chandy-Lamportアルゴリズム」を利用した分散スナップショットにより、高スループットを維持しつつ、耐障害性を実現しています。

高過負荷状態の場合には、イベント処理を中断し、全体がハングアップしないようにするフロー制御機能を有しています。

高パフォーマンス

Yahooが発表したベンチマークによると「Apache Storm」と同等以上の性能を示しています。

イベントタイムサポート

Flinkでは、受信したイベントに対する時間について、「Processing Time(システム時間)」「Event Time(イベントの発生元時間)」「Ingestion Time(イベント取得時間)」の3つの概念で扱えます。

柔軟なAPI

コアAPIとして、ストリーム用「DataStream API」、静的データ用「DataSet API」、SQL発行用「Table API」が用意されています。

オプション(ライブラリ/API)として、複雑なイベント処理用「CEP」、機械学習用「FlinkML」、グラフ操作用「Gelly」も用意されています。

独自のメモリ管理機構

アプリケーションがスケールしても、ガーベージコレクションの影響を回避できるようになっています。

イテレーション機構

機械学習/グラフ処理用に、高速に繰返し計算ができる「イテレーション機構」をサポートしています。

プログラム最適化(バッチ処理)

バッチ処理では、自動で最適化された実行計画を選択します。

他製品との連携

Flinkは、YARN上で動作し、HDFS/Kafka/Hadoop関連のプロダクトと連携できます。

同様製品

同様な機能を提供する製品として、次のようなものがあります。

オープンソース製品:「Apache Spark」「Apache Storm」など。

ライセンス情報

Apache Flinkのライセンスは「Apache License Version 2」です。このライセンスに従うことを条件として、ソースコードの改変と公開が許可されています。

ダウンロード

ダウンロードページ

※定期的にメンテナンスを実施しておりますが、一部情報が古い場合がございます。ご了承ください。

この記事のタグ一覧

おすすめの記事

【OSS情報】LLMトレーニング用ライブラリ「 GPT-NeoX 」📚

OSS情報

2024.07.18

【OSS情報】LLMトレーニング用ライブラリ「 GPT-NeoX 」📚

「 GPT-NeoX 」は、GPU上で大規模言語モデル(LLM)を効率的にトレーニングするためのライブラリです。NVIDIAのモデルを基に独自の最適化が加えられ、オートレグレッシブ言語モデルのトレーニング手法を集約しています。

経営活動に活用できる 原価管理 を実現するには? 〜製造業の現実的な課題に向き合い、現場視点から改善する原価管理手法の必達プロセスをご紹介〜

ウェビナーまとめ

2024.05.15

経営活動に活用できる 原価管理 を実現するには? 〜製造業の現実的な課題に向き合い、現場視点から改善する原価管理手法の必達プロセスをご紹介〜

2024年3月12日に三菱電機ITソリューションズ株式会社とアットストリームパートナーズ合同会社の共催で、組立加工製造業向けのセミナー「なぜか高くなる原価を管理する 不確実性の時代を乗り切るためのコスト戦略とは」が開催されました。本セミナーでは、製造業における原価管理の現状と改善手法について深く掘り下げ、経営活動への具体的な活用方法を提示しました。今回は、その講演の要点をお伝えします。

【OSS情報】WebベースAPI開発スイート「 Hoppscotch 」🌐

OSS情報

2024.07.04

【OSS情報】WebベースAPI開発スイート「 Hoppscotch 」🌐

「 Hoppscotch 」は、オープンソースのAPI開発エコシステムで、使いやすさとアクセシビリティを重視した軽量なWebベースのスイートです。無料版と有料版があり、PostmanやInsomniaの代替として利用可能です。