TOP /  クラウド/仮想化 /  Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」、コミュニティ・キックオフイベント(Zenko Night #01)

Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」、コミュニティ・キックオフイベント(Zenko Night #01) | クラウド/仮想化

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該イベントの主催・共催・協賛・講演企業とも共有させていただき、 当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」とは  (スキャリティ・ジャパン株式会社 仁戸 潤一郎)

講演資料を見るには、 プライバシーポリシーに同意して、送付先メールアドレスをご入力しご請求ください。

またご入力いただきました情報は、当該イベントの主催・共催・協賛・講演企業とも共有させていただき、 当社及び各社のサービス、製品、セミナー、イベントなどのご案内に使用させていただきます。

メールアドレス


法人様向けの資料のため、フリーアドレスをご利用の場合は、会社名、お名前を入力してください。
会社名
お名前

セミナー全体の評価と、参加者からのコメント

参加者によるこのセミナーの評価は、
3.8 でした!(5点満点中)
セミナー名 Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」、コミュニティ・キックオフイベント(Zenko Night #01)
講演企業 スキャリティ・ジャパン株式会社
開催日 2018年02月08日
匿名の参加者
もう少し時間があると良かったです
その他のIT関連業 40代 男性 の参加者
コメントなし
匿名の参加者
デモでマルチのクラウドに対してのレプリケート○○を見たかった
消費者に対してITを提供する企業(Webサービス、ゲームなど) 30代 女性 の参加者
コメントなし
企業に対してITを提供する企業(ベンダー、SIerなど) 20代 男性 の参加者
Zenko handsonがよかった
消費者に対してITを提供する企業(Webサービス、ゲームなど) 30代 男性 の参加者
・実際の導入事例などもう少し知りたい。 ・ハンズオンもう少しやりたかった。
企業に対してITを提供する企業(ベンダー、SIerなど) 40代 男性 の参加者
コメントなし
企業に対してITを提供する企業(ベンダー、SIerなど) 20代 男性 の参加者
コメントなし
その他のIT関連業 50代 男性 の参加者
コメントなし
匿名の参加者
オフィスがすっごい綺麗だった!竣工したばかりで招待いただきありがとうございます。 BBTさん儲かっているんですね!!あやかりたい。
企業に対してITを提供する企業(ベンダー、SIerなど) 20代 男性 の参加者
コメントなし
NTTコムウエア 杉本豊太さん
コメントなし
匿名の参加者
コメントなし

Zenko Multi Cloud Controller
0
スピーカー自己紹介
スキャリティ・ジャパン
セールスエンジニア
仁戸 潤一郎
• 知覚心理学専攻
• 前職は中堅SIerで仮想テープライブラリの開発、米
国駐在を経て、プレセールス部隊でSplunkやクラウ
ドアーキテクトなどを担当
• Scality 歴は1年。
1
マルチクラウドという考え方
様々なパブリッククラウドが存在し、それぞれにクラウドソリューションサービスが存在
各パブリッククラウド
独自のAPIを使用
S3 API
Microsoft Azure
Amazon S3
コンテンツ
配信
Blob
Storage
API
分析
計算
リソース
Cloud
Storage
API
顧客からの要望
• パブリック/プライベートクラウドを
透過的に使いたい
• ワークロード毎に適切なクラウドを選択できる
柔軟性がほしい
• クラウドベンダーロックインから回避したい
• コストの最適化
Google Cloud Platform
On-Prem Storage
アーカイブ バックアップ 機械学習
2
マルチクラウドのユースケースの例
• コンテンツ配信
▪ メディア企業は数万の映画を保持しておりプライベートクラウドに保存してコントロール
▪ 映画を公開するときはパブリッククラウドにコピーしてトランスコードとCDNサービスを使用
• Compute Bursting
▪ 銀行は毎晩何千ものCPUを活用してリスク分析を行う必要がある
▪ これらの強力な計算は数時間だけ実行されるため、サーバーが一日の残りの時間をアイドル状態で過
ごすよりはパブリッククラウドサービスを計算に使用したほうがよい
• 分析
▪ Eコマースの企業は大規模なデータレイク環境で機械学習を行っている
▪ 社内でHadoopインフラを構築するのではなく、データセットだけをHadoopクラウドにコピーし、
適切なアルゴリズムを計算し、結果のみを取得してコピーしたデータを破棄することでストレージコ
ストを節約
• 長期間アーカイブ / コールド・ストレージ
▪ プライベートクラウドでは定期的にアクセスされるデータを格納するのは低コストだが、アクセスし
ない長期間のデータアーカイブはアーカイブクラウドサービスのほうがより安価
▪ 決してアクセスされないデータを自動的にアーカイブすることで多くの費用を節約
3
“Zenko”マルチクラウドコントローラー
Zenkoがクラウド環境を統合
• 単一インターフェースでクラウド接続
▪ S3 APIを使用した単一のインターフェイスでアクセス
▪ バックエンドのストレージとして、AWS S3の全リージョン、
Microsoft Azure Blobstore、Google Cloud StorageとScality
RINGをサポート
単一インター
フェース
• ネイティブフォーマット
▪ Zenkoを通して書き込まれたデータは書き込み先のストレージ
のネイティブフォーマットで保存され、Zenkoを通さずに直接
読むことができる
⇒パブリッククラウド上の様々なサービスを活用可能
• ポリシーベースのデータマネージメント
▪ データマネージメントエンジンによりデータのロケーション設
定やクラウド間のデータレプリケーションが可能
ネイティブ
フォーマット
データ
インサイト
データ
マネージメント
• メタデータの属性検索
▪ クラウド間をまたいでデータを検索
4
業界標準のAmazon S3 APIを使用
• Amazon S3 APIは事実上の
デファクトスタンダード
S3 API
NFS
▪ 複数のクラウドバックエンドをサポート
▪ フル機能のS3インターフェイスを提供
(バックエンドクラウドストアの機能とは独立)
Zenko
S3 API
Amazon S3
Blob Storage
API
Microsoft Azure
Cloud Storage
API
Google Cloud Platform
Scality
REST API
Scality RING
5
ネイティブのクラウドデータフォーマット
• ネイティブのクラウドデータフォー
マット
従来のクラウドゲートウェイ製品
▪ Zenko経由でクラウドに格納されたデータは、
独自データ
ネイティブのデータフォーマットでアクセス
フォーマット
可能
CLOUD
??
※従来のクラウドゲートウェイ製品は独自デー
GATEWAY
タフォーマットでクラウドにデータを保存する
AWS S3
▪ ネイティブフォーマットで保存することでパ
ブリッククラウドのサービスを活用すること
Zenkoマルチクラウドコントローラ
ができる
AWS
APP
S3 API
ネイティブ
フォーマット
AWS
APP
Zenko
S3 API
AWS S3
6
データワークフローエンジン
バケットのロケーションコントロールやレプリケーション機能を提供
Zenko Namespace
• バケットロケーションコントロール
PUT Bucket1
Location Constraint: RING-
West
▪ バケットのロケーションを指定することが可能
▪ バケット内にオブジェクト格納(PUT)時の
デフォルトストレージロケーションを提供
PUT Bucket2
Location Constraint: AWS
Location: AWS
Location: RING-
West
• レプリケーション機能
▪ S3のCRR (Cross Region Replication) APIを使用
▪ RINGのソースバケットからAWS S3ターゲットバケットへの
レプリケーションをサポート(Azure Blob StorageとGoogle
Cloud Storageは今後のリリースでサポート)
Zenko Namespace
AWS S3 Namespace
▪ オブジェクトは非同期でターゲットに
非同期レプリケーション
レプリケーション
S3バケットCRR API
▪ ネイティブAPIで各ターゲットに保存
PUT
PUT
(AWS S3 API, Azure Blob Storage API,
Google Storage API)
OBJ1
▪ ネイティブデータフォーマットにより、
OBJ1
各オブジェクトのデータを直接読み取り可能
RING1
Amazon CloudFront
Amazon EC2
S3-US-East
Amazon EMR
7
メタデータサーチ
• メタデータ上の統合サーチ
▪ Apache Sparkベースのサーチエンジン
▪ ロケーションに関係無くクラウドネームスペース
を横断的に検索可能
▪ アプリケーションにS3オプション”x-amz-meta-”
ヘッダーを拡張メタデータとキー/バリューとして
付加可能
▪ 1つ/複数の属性による検索、あいまい検索
コマンド例:
“SELECT key where ContentType = ‘PDF’”
“SELECT key where Title=‘Mathematics%’”
サーチエンジン
• プログラムアクセスによるサーチ
▪ 属性パラメーターでRESTful APIを通してアクセス
▪ S3セマンティックスと違和感なく適合:

GET
/bucketName?search&attributeKey=’attributeVal
ue’

Zenkoは2つのエディションあり
Zenko Open Source
• 利用可能: Zenko.io
• マルチクラウドアプリケーションの開発者向け
• 無償ダウンロード、使用、拡張、埋め込み、配布可能
• Apache 2.0オープンソースライセンス、コミュニティベースのサポート
Zenko Enterprise Edition (EE)
• 2018年H1予定
• エンタープライズデータセンター&マルチクラウド向けに設計
• 販売体系は現在計画中
9
Zenko Open SourceとEnterpriseの違い
Zenko Open Source Zenko Enterprise
Application(s) Application(s)
CloudServer Identity and Access Control
S3 API
Backbeat Clueso
Data Policy Engine Metadata Search
Metadata
Data Storage (Public or
Private Cloud)
CloudServer
NFS and
SMB
S3 API
Backbeat Clueso
Data Policy Engine Metadata Search
Metadata
Scale Out
Multi-Tenancy & Enterprise
Security
Full IAM support of Multi
Accounts, Users, Groups,
Policies & Single-Sign On (SSO)
to AD & LDAP security servers
Scale-Out
N-Way scale-out to any
number of servers to deliver
capacity AND performance for
massive workloads
File & Amazon S3 Shared
Access
Bi-directional file & object
sharing with NFS v4/v3 & SMB
for legacy apps
Data Storage (Public or
Private Cloud)
10
Zenko Open Source: Features & Capabilities
Zenko Open Source
APP APP
S3 CALLS S3 CALLS
S3 API ー 単一APIで任意のクラウドにアクセス
S3 API Bucket LOCATION
DATA
S3 API
Bucket LOCATION
METADATA
CRR/DATA
METADATA
DATA
CLUESO
Metadata Search
BACKBEAT
Data Policy Engine
METADATA
DATA STORAGE
DMD
REST/Sproxyd
AWS S3 API
AZURE BLOB API
Native format ー Zenkoを介して書かれたデータは、
保存先のクラウドストレージのネイティブフォー
マットで保存されZenkoを経由せずに直接読み取るこ
とが可能
Backbeat for data workflow
ー ポリシーベースのデータマネージメントエンジン
Clueso for metadata search
ー Apache Sparkベースのメタデータ検索ツール
HA/Failover ー Docker SwarmによるHA構成
Shared Local
Storage
Simple Security ー ローカルで管理される認証情報
11
Zenko EE: Enterprise Security, File & Scale-Out
 Enterprise Apps 
APP
S3 CALLS
S3 CALLS
S3 API S3 API
LOCATION
 Scale Out 
LOCATION
NFS / SMB
S3 API NFS/SMB
LOCATION LOCATION
Identity & Access Management (IAM): SAML 2.0/SSO with AD/LDAP
DATA
METADATA CRR/DATA
METADATA
CLUESO
Metadata Search
DATA
BACKBEAT
Data Policy Engine
 Scale Out 
METADATA: HA/Consistency Cluster
DATA STORAGE
DMD
REST/Sproxyd
AWS S3 API
AZURE BLOB
API
Zenko Enterprise Edition
Legacy
App
APP
マルチテナントとエンタープライズセキュリティ ー AWS
IAM (Identity and Access Management)をフルサポート:
マルチアカウント、ユーザー、グループ、AD/LDAPによる
シングルサインオンが可能
スケールアウト ー 大量のワークロードを処理するためN-
Wayにスケールアウト可能(容量やパフォーマンスを提供)
Scality RING S3コネクタのMetadataエンジンを活用
ファイルとS3の共有アクセス ー レガシーアプリケーション
用としてNFS v3/v4とSMBとの双方向ファイル&オブジェク
ト共有

Google CS API
NFS/SMB

Shared Local
Storage

Legacy NAS
Native Cloud Storage — 複数のパブリッククラウドと
Scality RINGをサポート データはネイティブフォー
マットで保持
Backbeat for data workflow ー ポリシーベースのデータ
マネージメントエンジン
Clueso for metadata search ー Apache Sparkベースの
メタデータ検索ツール
12
Multi-Cloud Media Workflows
MEDIA & ENTERTAINMENT
SOLUTION OVERVIEW
Workflows across private & public clouds Strategic transition to multi-cloud - AWS
• Leverage services of multiple clouds S3, MS Azure Blob Storage, and Google
• Copy media files to AWS S3 for AWS Cloud Storage (2018)
CloudFront CDN • Unified access and abstraction of
legacy NAS, private and public cloud
• Policy-based data management
OBJECT
APPS
AMAZON S3
FILE
APPS
SEARCH
SQL
SMB
MULTI-CLOUD
DATA CONTROLLER
Scality RING
EXTENSIBLE
METADATA
SOFTWARE-DEFINED STORAGE
• Scality RING
• S3, NFS, SMB
THIRD-PARTY APPLICATIONS
• Custom Application
STORAGE HARDWARE
• HPE Apollo 45xx storage servers
• 60 HP Proliant XL450 servers
Intelligent federated search
• Extended media-specific metadata
(Framework for Interoperable Media
Services (FIMS))
• Search for media assets across all
namespaces
Legacy NAS
13
Technical Slide:
Zenko
14
Zenko CRR: 内部詳細
• 整合性を保証するため “in order” でレプケーションされる
• レプリケーションの送信が失敗した場合にはリトライの間隔が指数関数的に伸びていき、数回の
リトライの後、ストップする。
• ソースとターゲットの両方でSignature v4の認証、IAMのアクセスコントロール、HTTPS/SSL の通
信経路の暗号化によりセキュアなレプリケーションを実現
15
Metadata Search: Technical Details
• Apache Spark をメタデータのサーチに使用。LevelDBでデータベースの同
期を実施
▪ メタデータをSparkに流し込むエンジンとしてBackbeatを利用
▪ S3とZenkoのディプロイメントは統合されており管理がシンプル
16
Zenko EE: Metadata Details
Zenko has a clustered, scale-out metadata service





Zenko EEでは信頼性の高い高速分散データベースクラスターを構成
Zenkoはバケットおよびオブジェクトのメタデータを保持する
Zenkoはデータそのものは保持しておらずキーとロケーションを含むメタ
データをオブジェクトから分離して保持している
Zenko EE でクラスターをスケールアウトするとより多くのバケットを作成
することができる
メタデータはSSDに保存され高速処理が行われる
Metadata Extensibility

システムの属性情報だけでなく任意のユーザ指定の属性情報も保持
17
Zenko EE: システムアーキテクチャー
• Zenko EE はスケールアウト型のアーキテクチャーを採用
▪ ステートレスな S3 Cloud Servers をスケールアウトしS3のスループットを向上させる
▪ メタデータのデータベースクラスターとしてスケールアウト可能
▪ メタデータクラスターに IAM Vault を実装
Load Balancer
CloudServer1 CloudServer2  Stateless  CloudServerN
S3 API S3 API (Scale-Out)
Workflow
Engine
S3 API
Metadata Cluster1
 Scale-out 
Metadata ClusterN
Search
Engine
Utilization
Engine
IAM Vault
Data Storage (Public or Private Cloud)
18
Zenko EE: Zenkoファイルでのアクセス
Client
• NFS v4/v3スタックを統合しS3に対して
ネームスペースとデータの互換性を持たせる
Client
NFS volume mount
• S3バケットはVolumeとしてエクスポートされ、
Zenko EE
NFSでマウントすることが可能
NFS v4/v3 server
• ファイルとオブジェクトで双方向のRead/Writeが
可能
Export as Volume
• NFSはPOSIXの一部機能に制限あり
▪ ハードリンクとrenameオペレーションに未対応
▪ NFS v4 ACLs属性は持たない
▪ NFSからS3のメタデータにはアクセスはできない
S3 Bucket
19
Zenko EE: Single Sign-On to AD/LDAP
認証統合の仕組みを実装
• ADやLDAPとの連携サポート
• SSO による認証やアクセスコントロールに対

SAML 2.0 で IdP と通信を行い SSO
を実現
• Microsoft ADFS をはじめとして様々な製品に
対応 (CA Siteminder, Ping Federateなど)
• SAML によりADのドメインのアカウント、
ユーザ、グループにをIAMのユーザやグルー
プにマッピング
20
Zenkoを体験
• Zenkoで簡単にマルチクラウドを体験
http://www.zenko.io/
21
ハンズオン 手順
1. zenko.ioにアクセスしアカウントを作成(google accountが必
要)
2. sandboxを作る
3. ユーザを作成し、アクセスキー、シークレットキー、エンドポ
イントをメモする
4. S3でバケット(今回はus-east-1:バージニア北部を選択くださ
い)を作成しStorage Locationでクラウドストレージを登録する
5. Replicationでレプリケーションタスクを登録する
6. CyberduckなどのS3クライアントでローカルにファイルを保存
する
7. レプリケーションされたことを確認
22
Thank You
ja.scality.com
スキャリティ・ジャパン株式会社
東京都千代田区大手町1-6-1 大手町ビル4F
Email: sales.japan@scality.com | Telephone: 03-4405-5400

他のカテゴリから探す

IT業界の改革にご協力いただけませんか?

本サイトは、株式会社オープンソース活用研究所がプロデュースする、中小IT企業による”本気”の情報提供セミナー「マジセミ」の結果レポートページです。「マジセミ」は、次を目的として活動しています。

我々はITエンジニアが、今よりももっと「誇り」と「喜び」をもって仕事をし、今よりももっと企業や社会に貢献できる、そんなIT業界を創りたいと考えています。

そのためには、技術をもった中小のIT企業がもっと元気になる必要がある。その為には、技術をもった中小のIT企業を、もっと皆様に知って頂く必要がある、と考えました。

株式会社オープンソース活用研究所
代表取締役所長 寺田雄一

本当かウソか、あなたが見極めてください。

もし、我々のこの活動にご賛同していただけるのであれば、ぜひ下のセミナーに参加してください。

「なんだ、結局ただの売り込みセミナーじゃないか」

もしそう感じたら、アンケートなり、あなたのFacebookなりに、そのままお書き頂き、拡散して頂いて構いません。

参加者からのお褒めの言葉、お叱りの言葉が、我々中小IT企業を成長させ、それが日本のIT業界を変えていくのだと、強く確信しています。

あなたの行動が、日本のIT業界を変えるのです。

「マジセミ」のFacebookページ

今後のセミナー情報などを提供させていただきたますので、「マジセミ」のFacebookページに「いいね!」をお願いします。

日本のIT業界を変えるためのアクション、ありがとうございました!

関連するセミナーの講演資料
「SharePoint」の構築とマイグレーション、コストでお悩みの方必見!ベトナムオフショアとマイグレーションツール活用で実現するSharePoint開発コストの最適化 Zenkoハンズオン(デプロイと、クラウド~クラウド間、クラウド~オンプレ間のレプリケーション)/Zenko Night #05 Zenko 開発エンジニアがフランスから来日「Zenko 開発背景と、米ブルームバーグ社での活用事例、ほか」+ Zenko デプロイ ハンズオン(又はデモ)/Zenko Night #04 オープンソース・Linuxテクノロジーエバンジェリスト HPE古賀氏によるアプリケーションのポータビリティを実現するDocker/データの透過性を実現するZenko その場で体験できるVR/AR/MR(xR)の事例と、xRシステムのグローバル開発 マルチクラウド・ポータビリティの実現を目指す、DockerとZenko勉強会/Zenko Night #02 Amazon S3 APIでマルチクラウドのデータを一括管理するオープンソース「Zenko」、コミュニティ・キックオフイベント(Zenko Night #01) AWSへの移行でコストを削減する方法(イニシャルコストとランニングコストの両方のコストを削減する) ゼロからはじめるプライベートクラウド~ OpenStackとVMwareとの比較~ サーバーレスアーキテクチャー(AWS Lambda)で運用コストはどの程度削減されるのか