ニフティのデータ基盤を紹介します

はじめに

はじめまして。ニフティ株式会社の鹿野です。

この記事ではニフティのデータ基盤をご紹介いたします。

データ基盤とは

データ基盤は、部署を横断して複数のデータを集約する場所です。 サービスやプロダクトを横断してデータを活用することで、顧客体験やビジネス価値を向上させることを目的として活動しています。

データ基盤の構成

採用している技術スタックを以下に示します。

Data integration

• Embulk

Data transformation, catalog

• dbt

Data lake

• Amazon S3
• Cloud Storage¹

Data warehouse

• Amazon Redshift
• BigQuery²

Data orchestration

• Digdag

Data uses

• Tableau
• Redash

補足としまして、弊社のデータ基盤はETL・ELTパイプラインが混在する環境となっており、Embulkはこの両方に関与しています。

dbtを導入してからはETLの方が望ましいケースを除き、順次ELTへの移行を進めています。（dbtは特にデータモデルの管理機能がとても素晴らしいと感じています。）

また、上記構成図には出てこない部分として、データウェアハウスへのデータロードのほとんどはAmazon Reshift Spectrum が担っています。

1. Google Cloudのオブジェクトストレージサービス ↩︎
2. Google Cloudのデータウェアハウスサービス ↩︎