はじめに
はじめまして。ニフティ株式会社の鹿野です。
この記事ではニフティのデータ基盤をご紹介いたします。
データ基盤とは
データ基盤は、部署を横断して複数のデータを集約する場所です。 サービスやプロダクトを横断してデータを活用することで、顧客体験やビジネス価値を向上させることを目的として活動しています。
データ基盤の構成
採用している技術スタックを以下に示します。
Data integration
Data transformation, catalog
Data lake
Data warehouse
Data orchestration
Data uses
補足としまして、弊社のデータ基盤はETL・ELTパイプラインが混在する環境となっており、Embulkはこの両方に関与しています。
dbtを導入してからはETLの方が望ましいケースを除き、順次ELTへの移行を進めています。（dbtは特にデータモデルの管理機能がとても素晴らしいと感じています。）
また、上記構成図には出てこない部分として、データウェアハウスへのデータロードのほとんどはAmazon Reshift Spectrum が担っています。
ニフティでは、
さまざまなプロダクトへ挑戦する
エンジニアを絶賛募集中です！
ご興味のある方は以下の採用サイトより
お気軽にご連絡ください！
ニフティに興味をお持ちの方は
キャリア登録をぜひお願いいたします！
connpassでニフティグループに
参加いただくと
イベントの
お知らせが届きます！
