IT Alertをアクション可能な情報に変換してくれるサービス、と理解した。もう少し深く調べてみよう、と思わせてくれるプロダクトです。
私はしばらく運用の現場から離れています。実際にどうなんでしょうか、運用監視ツールが乱立、Alert地獄で困っている（要するに、ばんばんに通報メールなりが飛んできて、無視して良いのか、即座に対応しないといけないのかが判断できない、もしくは判断するのに多大な時間を要している）方って多いのでしょうか。仮にあなたがそうであれば、ちょっと時間使ってこのビデオみてもらえるよと良いかもです。
URL: www.youtube.com
SaaSベースのモニタリングツールです。何をモニターするか？
サーバ、ネットワーク、ストレージ、仮想化、DBやビジネスアプリなどです。対象は時間経過と共に増えたり減ったりするのでしょう。
対象データはWindows上で稼働するコレクターに集約され、そこからインターネット経由でLogic Monitorのデータセンターに送信されます。
単純なデータ可視化から、カスタマイズ可能なダッシュボードの作成・共有、AWSのBilling予想など色んな機能が搭載させていそうです。
URL: www.youtube.com
シグニファイと呼ぶ。 APMかな？というのが第一印象だが、ちょいと違うようだ。追々まとめていきます。
URL: www.youtube.com
今更このブログ発見。LookMLを何故この世に放ったのか？新しいテクノロジーを採用する際、誕生背景を知っておくことはめちゃくちゃ大事ですよね。早速興味の赴くままにピックアップしていきます。
私もこれ思いました。
でもね、 LookMLはSQLを置き換えるものではなく、SQLを”より良く”書く為のツールなんです。
データ操作を行う言語は、停滞していました。例えばアセンブラはCに、CはJavaやPython、Rubyに代替され、メモリ管理のような低レベル（本来業務から離れたレベルのタスク）から開放、よりプログラミング（ビジネスロジックということでしょう）に注力できるようになりました。
一方でデータ操作言語はどうでしょう？未だにデータ取得の為にSQLを手書く、つまり本来多大な時間を割くべきではないところに時間と労力を取られています。
Lookerの創業者であるLloyd Tabbは、LookMLの開発を開始した時に、Data Languages (データ操作言語)を進化させる必要があるという信念を持っていました。
そしてその信念はグラフィカル言語（適当な単語が見つからないので許して下さい）を開発するという方向には向かいませんでした。多くのグラフィカル言語を見て学んだことは、本質的に不正確、非効率そして、複雑なことをシンプルに表現するという点において良い方法でない、ということです。
そして、プロダクションシステムを構築する代わりにそのような"Teaching Tools"を使うに留まっているわけです。
＃これは既存のセルフBI（ツール）が部門利用にとどまっており、全社レベルでデータ活用を実現するには至ってない、ということが言いたいのかな？
LookMLは、上記のような落とし穴を回避するだけでなく、データを本当に活用したい人々に最高の環境を提供する、それを実現する、というビジョンがあります。LookMLがデータ操作言語を大きく進化させたと言えるに足る、７つの理由を見て行きましょう。
1.再利用
プログラマのマントラ。同じことを繰り返すな。でもね、データ分析の現場は繰り返しの連続。
データを取り出して、準備をして、分析する。そしてそこで実行された作業は二度と使われない。
これは非効率極まりない、なぜなら次の分析でも同じような作業を実施するから。
LookMLは一度DemesionとMeasureを定義、構築するだけ。上記のような繰り返しが不要です。
2.低学習コスト
LookMLはSQLに寄り添って開発されています。理由は単純で開発の現場で広くそして長く使われているからです。つまり、多くのSQLに習熟したエンジニアにとっては、すでに馴染みのあるものとして受け入れてもらえます。一方でグラフィカル言語は強制的にゼロから習熟することを強いるかもしれません。
LookMLはSQLに熟れたデータ分析者であれば、僅かな時間で習熟することができるようになっています。
3.バージョン管理 #しっくりこない
データ管理・分析の現場では、いつ誰がどんな理由でデータを変更したのかをトレース、管理することが求められますが、残念ながら今時のグラフィカル言語では、先に示したような変更（バージョン）管理が許されていません。（#できないということかな？）
データ管理システムに組み込まれた、昔ながらのバージョンコントロールは、イケてなくプロプライエタリ（ベンダ独自の作法）で、なによりチームのコラボレーションを阻害します。
LookMLは業界標準のGitを利用したバージョンコントールを提供します。
4.簡単なデバッグ
あなたが、もしグラフィカル言語を用いた環境でデバッグしたことがあるなら、複雑に絡みあった問題を解決する大変さが身に染みているかもしれません。
LookMLの開発者は、auto-completion, error highlighting, contextual help機能を持つ成熟した統合開発環境のメリットを享受することができるだけなく、validatorがエラーを修復する手伝いをしてくれます。このような環境はグラフィカル言語では得ることが出来ないのではないでしょうか。
5.複雑なデータ管理のために開発
単にデータを平易に取り扱おうとしても、そもそものデータの複雑性を取り除ける訳ではありません。イケていないツールは複雑なデータの取り扱いをより難しくします。
LookMLはパワーユーザが複雑なデータをキャプチャすることを助ける強力なツールにもなります。例えばinequality joins, many-to-many relationships, multi-level aggregationなどを使って、新しい視点をユーザに提供するとも出来ます。
6.コラボレーションの促進
ソフトウェア開発者は、複雑な開発プロジェクトで非常にパワフルなツールを開発しています。そしてそれはデータ管理・分析の現場にも同様に必要なものです。一方で、会社の各所から求められるデータ（ニーズ）に一人だけで対応、サービスを提供することは出来ません。
SQLは、取り扱うのが”難しく”、データを使ったコラボレーションの実現には困難を伴います。LookMLは、ユーザが自然かつ容易にデータを取り扱う為に作られている為、コラボレーションの実現を容易にします。
7. データ管理者・分析者、そしてエンドユーザーの為に
ここまで読んで頂くとお分かりの通り、LookMLは、データ管理者・分析者の為のツールです。エンドユーザの為のものではありません。LookMLは、分析者がデータの持つ意味をナレッジ化することを助け、そのナレッジをLookerに投入します。結果として、LookMLはナレッジを全てのユーザが利用できるようにします。
そして、Lookerは、エンドユーザーがデータ利用の背後に横たわる”技術的なこと”を心配することなく、ダッシュボードの作成、行レベルの詳細のドリル、複雑なメトリックへアクセスすることを支援します。
以上の７つを一言で言うと、LookMLは進化したSQLです。データ分析者に馴染みのあるSQLをレバレッジ、つまり抽象化レイヤを設けて複雑さを隠蔽しながら、一方で成熟されたパワフルなデータ操作機能を使えるということですね。#だいぶ超訳です。
こっちを先に見たほうが良かった！ 既存のBIツールとそれを実現するシステムとの違いを説明してくれています。
第一のBI：「Cognos, Hyperion, Microstrategy,Infomatica, Oracle, Teradeta」など
第二のBI：上記がファンクション毎に分割。選択の自由と複雑化
第三のBI：Looker、データサービスプロットフォームとして機能を最定義
データモデル作成デモの前に、LookMLの説明。利用者はSQLを書く必要はない。自分の欲しい情報がどうやったら取得できるかを考えることに注力できる。LookMLは裏でSQLを利用者に変わって生成してくれる。（要はSQLを習得しなくても、より直感的にデータが取得できるようになっている）
最後に、ニューヨークのTaxiデータベースを使って、LookMLを使ったデモを紹介
URL: www.youtube.com
Looker。 呼び方はルーカー とルッカーと間。大量のYoutubeビデオがあるので、私が気になったものなからランダムに取り上げます。このビデオでは、データベースからデータを取り込んで、分析モデルをを探索、生成しながら、自分用のダッシュボードを「簡単に」作成、共有するデモを紹介しています。
SQLがわからなくても直感的に読み込んだデータから自分が必要そうなデータを選択、可視化してくれるし、SQLが分かればカスタマイズもできます。
URL: www.youtube.com
ユースケース！ 営業の人登場。面白いなと思ったのは、サーバのローカルSSDを共有ストレージE8に集約する。つまり、オールフラッシュ共有ストレージでは性能要求を満たせなくて、ローカルSSDを使わざるを得なかったユーザがE8でHappyになっている。
あと、フォーカスするところが明確。いわゆる（WindowsとかVMで動く）エンタープライズのアプリではなく、Linuxで動く、（超高速性能が求めれる）アプリ。お決まり!?のExadataリプレースに言及することも忘れていない。っていうかもうそういう顧客がいることに驚きです。
URL: www.youtube.com
NVMeを耳にする機会が増えてきました。ということでE8 Storageの動画から。
最初に言っときます。私ドキュメント読むの嫌いです。なので、基本的に動画から得た情報を共有します。あしからず。
URL: www.youtube.com
まずめっちゃ高速。 10 Million Read IOPSで、40GB/s。ビットじゃないですバイトです。誰がこんな性能求めるのだ！ でもモノを作っているからにはニーズがあるのでしょう。あと、Read 100%のベンチマークとか意味ないし。もったいないなーと思う。そんなアプリないから。
ホストとストレージは、RDMA over Converged Ethernet (RoCE)というプロトコルを使ってお話。
Ethernetをネットワークとして採用したのはFCと比較して安いから。100GEtherは$800/ポート、32GFCは$2000/ポート。個人的にはEtherみたいな熟れたメディアを採用するのは好ましい。Infinibandとかより。
RDMAは、知りません。知りませんというのは、これがどんだけ性能に寄与するか。CPUとメモリバイパスするぜー、と言われても。
それと肝心のサーバ側。Linuxのみサポート。複数のDistributionをサポート。Agent入れるので色んなOSサポートは時間かかるのかな？
最後にデータ保護。男はだまって、RAID6 で一本勝負！ いいですねー。
海外メディア、動画で紹介されているITプロダクトのコンテンツやニュースを日本語に超訳＆端折ってお届けします。あと私の感想も。想定読者はITエンジニアとか情シスの皆様。一緒に勉強していきましょう。
]]>
7 Reasons Looker Built a New Language for Data