レクハウス導入・活用支援サービス with Databricks

レイクハウスが求められる背景と課題

ビッグデータ、機械学習（AI）、クラウド、DXといった取り組みが多くの企業で加速する中、必要な時に、必要なデータを、適切な形で取り出せるようにデータの適切な管理や維持、運用は企業にとって必要不可欠な取り組みといえます。
一方で、データ利活用の元となるデータの管理、保管、運用には、以下の例のように多くの課題も発生しています。

レイクハウスが解決・実現できること

これまでデータ活用基盤として主流だったデータウェアハウス（DWH）では、ETL（Extract（抽出）、Transform（変換）、Load（格納））というプロセスを通じて、フォーマットが統一された構造化データを扱います。
データ形式が統一されているため、必要な時に迅速にデータの可視化や分析ができるというメリットがあります。

一方で、様々な形式の生データを格納することができないというデメリットがあり、それを補完するために、データレイク（生データの保管）＋データウェアハウス（ETLで構造化データに変換）で様々な形式のデータを必要な時にタイムリーに可視化、分析できるようにしてきました。

しかしデータレイク＋データウェアハウスのデータ活用基盤には、データレイク、データウェアハウスで同じデータを重複して保持することになるため、データを維持するためのコストが莫大になることや、長年の利用によるレスポンスの低下、データ品質の低下などの課題が顕在化してきています。

そこで、近年注目を集めているのがデータレイクハウスというアーキテクチャです。
データレイクハウスは、データウェアハウスとデータレイクのメリットを併せ持つ次世代のデータ管理システムです。
データウェアハウスと類似のデータ構造とデータ管理機能を、データレイクに使用される低コストのストレージに直接実装しているため、多種多様な構造化、非構造化データを必要な時に迅速に、適切なデータ管理のもと提供することができます。

Databricksの特長

このデータレイクハウスツールの中で、注目を集めているのが統合分析プラットフォーム Databricksです。
Databricksはシンプルかつ高速にデータ管理ができ、機械学習のライフサイクルを一元管理できます。マルチクラウド対応で、Microsoft Azure、Amazon Web Services（AWS）、Google Cloud Platformなどのクラウドサービスから選択することができます。

データインテリジェントプラットフォーム Databricksは、データ活用に関する幅広い機能をカバーしています。
スモールスタートで必要機能のみの従量課金での利用も可能です。

TDSEのレイクハウス導入・活用支援サービス

TDSEのレイクハウス導入活用支援サービスの特徴

これまでの経験やノウハウに基づき、ツールをただ導入するのではなく、適切なデータ管理、利活用のための最適なレイクハウスの構築・運用をご支援します。

【導入編】レイクハウス導入アプローチと進め方

レイクハウスの企画/設計・開発から運用・教育まで一貫したサービスをご提供します。

Design（ビジネス企画・要件定義）フェーズ

Designフェーズでは、ビジネス目標を定義し、そのビジネス目標をデータ活用テーマに変換し、目標を定めます。また、現状のデータを収集検証してデータ活用テーマの実現性を確認します。

Development（基盤開発）フェーズ

Developmentフェーズでは、データ活⽤テーマに対して適切な分析⼿法/アルゴリズムの選択や特徴量エンジニアリングを⾏い、機械学習プログラムを開発します。開発したプログラムを ⽤いて様々なパターンの実験（データ前処理〜学習〜評価）を繰返し⾏い、最適な機械学習モデルを作成します。

Operations（運用）フェーズ

Operationsフェーズでは、機械学習モデルを本番環境に展開し、実際のビジネスシーンで活⽤できるようにいたします。また適宜モニタリングを⾏い、必要に応じてモデルの再学習/再開発を促し、その結果がスムーズに再展開されるように整備します。

Knowledge Transfer（運用）フェーズ

Knowledge Transferフェーズでは、お客様のレイクハウス環境に即した教育・研修コンテンツ制作・研修実施や伴走型のOJTも実施いたします。

【活用編】データ活用アセスメントと分析サービス

「弊社のデータサイエンティストが分析する」「製品を使って分析する」、「お客様社内でデータサイエンス組織を立ち上げる」など、最新のテクノロジーとご要望を掛け合わせ、ご支援いたします。

データ活用アセスメントと分析サービス

テーマアセスメントの進め方は以下の通りです。
DX部門は、業務部門を始め全社横断し解決が必要な課題を収集整理し、DXで目指すべきゴールに向け優先度の検討が求められます。当社ではロングリストによるテーマ管理と優先度決定の仕組みを使い、DX推進を支援します。

テーマアセスメントにより抽出された優先度の高いテーマに関し、分析プロジェクト（POC）を実施致します。プロジェクト推進に当たっては、当社メンバーにて実施する方法や、貴社の分析担当者が主体となり当社メンバーが伴走しながら支援する方法も可能です。
また、分析ツールや分析環境の整備もご支援いたします。