Cloudera Director 2.1の新機能

Cloudera Directorは、お客様が選択したクラウド環境にApache Hadoopを導入し、拡張および管理するためのシンプルで信頼性に優れた手段を提供しようというClouderaの意向を具現化する仕組みです。Cloudera Directorによって、ビッグデータアプリケーション向けの業務用クラスタを導入し、クラウド環境でワークロードを稼動させることが可能になります。Cloudera Director 2.1では、非常駐型ワークロードのサポートに加え、複数のクラウド環境に対しても導入ができるよう機能拡張が図られました。

Cloudera Director 2.1の主な拡張機能は以下の通りです:

  • Clouderaサービスに対する利用時間に応じた課金が可能に
  • Microsoft Azureに対してCloudera ManagerとCDHクラスタの導入が可能に
  • クラウドプロバイダーや地域を横断する形でのクラスタ導入が可能に

本投稿では、Cloudera Director 2.1における新機能について説明します。詳細に触れる前に、Cloudera Directorの機能について振り返っておきます。

  • クラスタをオンデマンドで作成および削除: Cloudera Directorを使用することで、どんなクラウドプロバイダーの環境に対しても、Cloudera Managerのインスタンスや高可用性CDHクラスタを設定しセットアップすることができます。1つのCloudera Directorインスタンスで複数のクラウドプロバイダー環境や、複数のCloudera Managerおよびクラスタのライフサイクルを管理することが可能です。また、Cloudera Directorによって、個別のデータベースサーバーやAWS Relational Database Service (RDS) 上にある外部データベースをCloudera ManagerやHiveといったクラスタサービスが使用できるよう設定することも可能です。
  • クラスタの拡張と縮小: クラウドインフラストラクチャーの大きな特長の1つは、状況に応じて動的にインスタンスを用意できることです。Cloudera Directorでは、この特長を活かし、Cloudera Managerが管理するHadoopクラスタに対してもこれらのインスタンスが有効となるよう機能追加が図られています。
  • クラスタテンプレートと導入のカスタマイズ: Hadoopクラスタの能力を最大限引き出すためには、構成や設定のカスタマイズが必須となります。これを実現する最も堅実な方法は、設定ファイルから構成や設定内容をコピーして、類似した構成やクラスタで再利用することです。また、Cloudera Directorのユーザーインターフェースが持つクローン機能を使用し、既存のクラスタをレプリケートすることも可能です。一旦インスタンスを作成しクラスタを設定してしまえば、クラスタを削除しない限り、Cloudera Directorでカスタムスクリプトを実行することができます。また、本機能を使用することで、インスタンス作成後にカスタムパッケージのインストールを行うことも可能になります。さらに、Cloudera DirectorからCloudera ManagerのAPIを使った事前定義の設定スクリプトを実行してクラスタの設定を行ったり、クラスタが削除される前にインスタンスのデータをオブジェクトストアに移動したりするという対応も可能になります。
  • セキュリティ: 他のCloudera製品と同様に、Cloudera Directorではセキュアな導入とアプリケーションにコミットしています。この中には、Cloudera Directorのデータベース、Cloudera Managerやクラスタに対するKerberos認証の設定に加え、監査やデータリネージ、データディスカバリのためのCloudera Navigatorの導入などが含まれています。
  • REST API、Javaクライアント、Pythonクライアント: Cloudera Directorは、APIとクライアントを使用して既存のワークフローと連携させることができます。
  • スポットインスタンスのサポート: サーバーグループでAWS EC2スポットインスタンスまたはGoogle Cloud Platformのプリエンプティブルインスタンスを使用できるよう設定できるため、クラウド環境の消費量を適正に抑えることが可能です。
  • 強力なユーザーインターフェース: Cloudera Directorのユーザーインターフェースの基本的な役割の1つは、環境に存在する全てのクラスタの状態を1つのダッシュボードから確認できるようにすることです。つまり、Cloudera Directorのユーザーインターフェースは、複数のCloudera Managerを横断する形でクラスタ全体の健全な運用状態(ヘルス)に関する詳細な分析結果を提供できるということです。
スクリーンショット 2016-07-28 10.17.21

システム環境全体から対象となるホストを持つクラスタを素早く特定

スクリーンショット 2016-07-28 10.17.31

各インスタンスのHadoopおよびクラウド情報の詳細まで容易にドリルダウン

Cloudera Director 2.1の新機能

Cloudera Director 2.1には、具体的に以下のような新機能が含まれています:

  • Cloudera サービスに対する利用時間に応じた課金: 時間時間に応じた課金によって、特に非常駐型クラスタの使用料の適正化を図ることができます。利用時間に応じた課金を利用するためには、最初にClouderaから課金IDを取得する必要があります。ID取得後は、Cloudera Enterpriseを通常通りに使用できます。なお、課金はCDHサービスが稼働している間だけを対象とします。
  • Microsoft Azureのサポート:Cloudera Directorが既にサポートしているAWSおよびGoogle Cloud Platformに加え、新たにMicrosoft Azureのサポートを開始しました。このようなクラウドプロバイダーのサポートは、(ソースコードはgithubで公開されています)。本インターフェースは、クラウドプロバイダーがサーバーやデータベースサーバーといったクラウドリソースを準備、管理、撤去するためにCloudera Director側で必要となる機能を集約したしたものです。自分でプラグインを作成する場合の詳細については、こちらの投稿でご覧いただくことができます。
  • 地域やクラウドを横断する形での導入: Cloudera Director 2.1以前、Directorは CMやCDHインスタンスのプライベートIPアドレスにアクセスする必要がありました。これが最も安全なネットワーク設定であったからです。そのため、Cloudera Directorをクラスタと同じVPCに導入するか、あるいは適切なネットワーク設定(例えばVPN)を行う必要がありました。地域横断的な、あるいはクラウド横断的な環境を容易に実現するため、Cloudera Director 2.1では、異なるネットワーク設定を採用しながらも、最大限のセキュリティを維持できるようになっています。最新のDirectorでは、アクセス可能などんなIPアドレスに対してもSSH経由でインスタンスと通信ができるようになりました。Directorを使用するために、パブリックIPアドレス上にCloudera ManagerまたはCDHインスタンスを置く必要はありません。またそれを推奨するものでもありません。これらのかわりにDirectorは、Cloudera Manager APIのコールをSSH経由で自動的にトンネル化します。

Cloudera Directorの使用

ここまでにご紹介した機能を試すためには、次のような方法があります:

  • AWS Quick Startを試す: AWSおよびCloudera Directorをすぐに使用する場合には、Cloudera Enterprise Data Hubを利用します。このワークフローを使用することで、既存のVPCに12ノードのクラスタを導入するか、または、必要なAWSインフラストラクチャーを入手することができます。
  • ClouderaのWebサイトからCloudera Directorをダウンロードします。本Webサイトでは、ユーザーガイドや入門書、あるいは既存のインストレーションのアップグレードも入手できます。
  • こちらにあるサンプル設定ファイルとスクリプトを使用してクラスタ設定の第一歩とします。
  • ご質問等があれば、Cloudera Directorコミュニティフォーラムに質問やフィードバックをお送りください。
One clap, two clap, three clap, forty?

By clapping more or less, you can signal to us which stories really stand out.