Cloudera Enterprise 5.11の新機能：Hueのデータ検索とタグ付け

Published in

Cloudera Japan Official Blog

7 min readMay 23, 2017

2017年5月10日 Romain Rigaux

本記事は以下のブログの翻訳です
http://blog.cloudera.com/blog/2017/05/new-in-cloudera-enterprise-5-11-hue-data-search-and-tagging/

セルフサービスのビジネスインテリジェンスと探索的な分析は、引き続きClouderaの顧客の主要なユースケースになっています。過去１年にわたって、私たちはインテリジェントなSQLエディタであるHueに、SQL開発者にとってさらに強力なユーザーエクスペリエンスを提供し、SQLエディタとしての用途について、より生産性を高めるために、多くの重要な進歩をなし遂げました。

最近リリースされたCloudera 5.11（日本語）では、高速なデータ探索のための組み込み検索やタグ付けなどの新しい機能、効率性を向上するためのSQLの改善が強化されました。これらの拡張について詳しくしりたい方は、demo.gethue.comをクリックして、新しく改良されたHueを試してみてください。

組み込み検索とタグ付け

プロジェクトに関連するテーブル名を思い出すのに苦労したことはありませんか？列やビューを見つけるのに長い時間がかかっていませんか？Hueは、クラスタ内のすべてのデータベースにわたって、テーブル、ビュー、または列を簡単に検索できるようになりました。何万ものテーブルを検索する機能によって、テーブルをすばやく見つけることができ、より高速なデータ検索をしたいというニーズに応えることができます。

また、オブジェクトをより良く分類し、別のプロジェクトにグループ化するために、オブジェクトに「任意の名前」をタグ付けすることもできます。これらのタグは検索でき、簡単でより直感的な検索によって探索プロセスを迅速化します。

Cloudera Navigatorとの統合により、既存のタグと索引オブジェクトがHueに自動的に表示され、追加したタグは逆にCloudera Navigatorにも表示され、使い慣れたCloudera Navigatorの検索構文をサポートしています。

詳細は次のビデオをご覧ください：

Hadoop Tutorial: Integrating Cloudera Navigator in Hue from The Hue Team on Vimeo.

HueでCloudera Navigatorとの連携を有効にするには、Cloudera Managerにログインし、Hue > Configurationに移動して Cloudera Navigatorの2つのプロパティ、Enable Navigator Metadata Server Integration と Enable Audit Collectionのチェックボックスにチェックします。

詳細な手順についてはドキュメントを参照してください。

使用法

HueのSQLエディタの上部に検索バーが表示されます。オートコンプリートはファセットのリストを提供し、トップ値が埋め込まれて表示されます。 Enterキーを押すと、利用可能なオブジェクトが一覧表示され、サンプルポップアップ、アシスト、あるいはテーブルブラウザのアプリケーションから直接開くことができます。

きめ細かい検索

デフォルトでは、テーブルとビューのみが返されます。列、パーティション、データベースを検索するには ‘type:’フィルターを使用します。

検索例：

table:customer → customerテーブルを検索する
table:tax* tags:finance → taxで始まり‘finance’タグが付いたすべてのテーブルを一覧表示する
owner:admin type:field usage → adminユーザーによって作成された、usage文字列に一致するすべてのフィールドを一覧表示する

セキュリティ

Sentryが設定されているセキュアなクラスタでは、Sentryのアクセス許可に従って、Hueはユーザーがアクセスできるオブジェクトのみが結果に含まれていることを保証します。これはすなわち、ファセット検索が単純化され、一般的な値がカウントされないことも意味しています。

SQLの改善

エディタはますます良くなっています。以下は、最近の主要な改善点です。

オートコンプリートポップアップの改良

通常のコードエディタと同様に、オートコンプリートは2つの部分に分割されています。これは、現行のテーブルや列のメタデータをフェッチする際のハングアップを防ぎ、コメントやオブジェクトの種類、完全な名前などのより多くのコンテキスト情報を表示するためです。

テーブル作成ウィザード

ファイルから新しいSQLテーブルを作成するのに苦労したことがあれば、これがもっと簡単になったことを嬉しく思うでしょう。最新のHueのリリースではこれらをアドホックなやり方で作成して、セルフサービスの分析を迅速化できます。ウィザードは2つの簡単な手順に改修され、さらに多くの形式を提供します。ユーザーは次の操作を行うだけです。

ファイルを選択する
テーブルの種類を選択する

これだけです！ファイルはHDFSまたはS3（設定されている場合）から選択してドラッグアンドドロップでき、それらのフォーマットは自動的に検出されます。ウィザードは、テーブルのパーティション化、Kuduテーブル、ネスト型などの高度な機能を実行する際にも支援します。