Cloudera Altusでクラウドの大規模データ処理をお手軽に

Daisuke Kobayashi
Cloudera Japan Official Blog
4 min readMay 24, 2017

--

原文記事: http://vision.cloudera.com/simplifying-big-data-in-the-cloud/

原文著者: Jennifer Wu

昨今のパブリッククラウド採用の加速に伴い、大規模なデータワークロードのためにクラウドに目を向けるお客様が増えるにつれ、我々はどうすればクラウド内で Cloudera の機能を最も効果的に提供できるのか、あらためて検討しました。

お客様は、絶え間なく成長するビジネスデータを効率的かつ費用対効果の高い方法で分析するために、クラウドが提供する俊敏性、規模、使いやすさをどのように活用すればいいのか知りたがっていました。さらに、お客様は Cloudera プラットフォームのエンタープライズ機能と信頼性もそのまま利用したいと考えていたのです。

そこで我々はクラウドを全社的な優先事項とし、Cloudera スタック全体の相互運用性を維持しながら、エンタープライズ機能と使いやすさのバランスを達成することを目標としました。そして、弊社がもつプラットフォームを以下に並べる機能を有する、よりクラウドフレンドリーなものとしたのです。

  • ハイパースケールのクラウドストレージへの最適化された読み書きパス
  • 迅速なクラスターのプロビジョニング
  • クラウドサービスプロバイダのソリューションと統合されたセキュリティ機能
  • クラスターを弾力的にスケールする能力
  • プリエンプティブ (スポット) インスタンス用の回復機能

Cloudera は、コアコンポーネントにおける新しいクラウドネイティブの機能をアップストリームに追加することで、オープンソースの精神を引き続き尊重しました。これまでの結果をご覧の通り、新しいクラウド用の機能をプラットフォームに公開してきましたが、実はもっと抜本的な変更を思い描いていたのです。

我々は、クラウドやクラスター操作の複雑さを隠蔽することによって、エンドユーザーに焦点を当てたクラウド体験を提供するという大きな飛躍を実現したかったのです。この目標に向け、Cloudera のエンタープライズ機能とクラウドネイティブ機能をベースにした platform-as-a-service (PaaS) を構築すべく並行して開発を進めてきました。

本日、クラウド上で動作するデータエンジニアリングワークロード (Hive/Spark/MapReduce2) に焦点を当てた初期のサービスとしての PaaS である Cloudera Altus をリリースします。データエンジニアは、IoT デバイスからのクリックストリーム、ユーザーレコード、ログファイルなどの無数のデータソースから継続的にデータを取り込み、さらに分析、可視化、レポート作成のためにこれらのデータを処理します。企業は1日に最大で数万ものデータエンジニアリングワークロードを実行するでしょう。また、厳格なサービスレベルアグリーメントを満たしながらも、信頼性、コスト効率、安全性を確保しなければなりません。

ますます複雑になるデータエンジニアのニーズに対応するため、Altus はデータエンジニアのために

  • Altus がクラスタを管理する一方、ユーザーは自分のワークロードに集中することができます
  • Altus のデータエンジニアリングクラスタから Cloudera Director でデプロイされた BI 分析とデータサイエンス用の Cloudera クラスターへのデータパイプラインを完全にサポートします
  • 最小限のリスクで、オンプレミスからクラウドへのワークロードの簡単な移行を体験することができます

Cloudera Altusの機能は次のとおりです。

  • 迅速でシンプルなオンデマンドのクラスタープロビジョニング
  • ユーザーがワークロードに集中できるようにするジョブ指向のワークフロー
  • ジョブのトラブルシューティングの簡単なワークフロー
  • 直感的な UI とコマンドラインインターフェイス

Cloudera Altus の詳細については、Engineering blog の Data Engineering with Cloudera Altus (訳注: 日本語訳は以下をご覧ください) を参照してください。

これはまだ始まりに過ぎません。我々のクラウドロードマップを楽しみにしていてください。Cloudera Altus は こちら からお試しください。

--

--