エコシステムに支配者は存在しない-Doug Cutting

投稿日: 2015/3/3

本記事は、弊社Chief Architectである Doug Cutting が公開したVision Blogを翻訳したものです。原文についてはこちらをご覧ください。


活発で多様性に富んだ活動を続けるApacheプロジェクトのエコシステムは、ビッグデータを背景に発展してきました。このエコシステムは、進化を続けることで何十年先も生き残り、どんなコンポーネントも長期的に使い続けることが可能です。中央集権方式では、このエコシステムに制約を与えることになります。

Apacheは、プロジェクトにおける戦略的な目標といったものは持っていません。重要なのは、プロジェクトが生み出すソフトウェアの機能ではなく、各プロジェクトのコミュニティがオープンかつ公平な協力関係を保っているかにあります。それゆえApacheは、競合するプロジェクトも歓迎するのです。

現在、Apacheのビッグデータエコシステムには次のようなものがあります:

  • YARNやMesosなどのスケジューラ
  • MapReduceやApache Sparkなどの処理エンジン
  • Apache Hive、Apache Drill、Apache Phoenixなど、多数のSQLエンジン
  • Apache HBaseやApache Accumuloなどのキーストア
  • Apache MahoutやSparkのMLibなどの機械学習ライブラリ
  • Apache Storm、Apache Kafka、Sparkなどのストリーム処理システム

など。

各分野のソリューションは、それぞれ似かよった機能を提供しています。利用者は混乱するかもしれませんが、エコシステムが生き残り、機能が向上を続けるプラットフォームを利用者に提供するためには、重要なことです。

当然ながら、各プロジェクトは個別に進化を遂げています。それでは既にあるプロジェクトだけが、一貫性を失うことなく十分な進化を遂げられることになります。幸いエコシステムは、既存のプロジェクトに取って替わる、あるいは補強する新たなプロジェクトを排出し、自ら進化を遂げています。代替の利かないコンポーネントは存在しません。そしてそれは、ユーザーのために競い合うことになります。

Apacheビッグデータエコシステムに中心的なものは存在しません。確かに現在は、Apache HadoopのHDFSを中心に据えているとしても、長期的に何かに取って変わられないという保証はありません。これは、HDFSを挑戦者に立ち向かわせるという意味で歓迎すべきことです。結果的にHDFSが敗北しても、それ以上に優れた製品をユーザーは手にすることになるのです。

ベンダーは顧客のために、このエコシステムを運営し、テストを実施し、ディストリビューターを準備しています。この機能は価値あるものですが、特定の者が支配していないことが、顧客の長期的な利益のために極めて重要です。また、エコシステム自体が進化するためには、ディストリビューター間の競争と改革も不可欠です。ベンダーは、Apache Bigtopプロジェクトを通じて協力し合うこともできますが、必要に応じて別々の道を辿ろうが、顧客に対する優位性を得るため、新しいプロジェクトでリスクを取ることも自由です。

互換性は重要な目標の1つです。各プロジェクトは、以前のディストリビューションとの互換性を維持するよう努力しています。ディストリビューターもまた、競合相手のカスタマーを引き付け、カスタマーがアプリケーションを容易に開発できるよう、競合相手と互換性を維持しようとします。しかし、互換性が進歩の妨げになる場合もあります。プロジェクトやディストリビューターは、エコスシステムの活性を維持するため、非互換にトライすることもまた自由です。

こうしたエコスシステムの実態は、独立して管理されたプロジェクトの緩やかな連合であり、それが長期的な強みにもなっています。特定の組織がその運命を決定づけることはありません。中央集権的なエコシステムは遙かに脆弱なものです。支配者は自分の利益に反する変化を拒否するでしょうし、エコシステムはその中心にまとわりついて、身動きがとれないものになるでしょう。

私たちが多様なツールを利用できるのと同様、いろいろなディストリビューションを利用すればよいのです。それが、ビッグデータソフトウェアのエコシステムの力と耐久性を維持するのです。

One clap, two clap, three clap, forty?

By clapping more or less, you can signal to us which stories really stand out.