データ分析基盤－クラウド×データの研究所

ETLのTransformを担う「dbt」のプロジェクトの設定とモデル作成について見ていきましょう

dbtプロジェクトの設定について dbtで処理を進めていくためには、dbtプロジェクトを作成・設定していきます。下記のような形でdbtのディレクトリに「dbt_project.yml」を用意します。 dbt_project.ymlの中身は、下記のよ […]

　データエンジニアリングにおけるETL処理において、DWに存在するデータに対してT(Transform)の処理を実施するツールとしてdbt(data build tool)が有名です。　dbtにおいて、整形するSQL文を柔軟に記述できる方法としてJ […]

　データエンジアリングの領域でIceberg(アイスバーグ)という技術をよく聞きます。これは、大量のデータ(ビックデータ)を効率よく扱う(高速で一貫性のあるクエリ)ためのオープンソースのテーブル形式なんですね。 https://iceberg.apa […]

dbt（Data Build Tool）は、データウェアハウス内の変換処理（Transform）をコード化し、テスト・ドキュメント・バージョン管理を備える、データチーム共通の変換パイプラインフレームワークです。この記事で概要をレビューします。 1. […]

BigQueryとは？ Google の完全マネージドなサーバレス型データウェアハウスで、ペタバイト規模の分析をSQLで高速実行可能なのが特徴です。インフラ管理不要で、ストレージと計算が分離された設計により、柔軟なスケーリングとコスト制御が実現され […]

1. dbtとは？──ELTの“T”に特化した変換ツール従来のデータ処理は「ETL（Extract → Transform → Load）」が主流でしたが、クラウドデータウェアハウスの進化により、処理の流れは「ELT（Extract → Load […]

Snowparkを学ぶにあたりSnowpark MLについても概要を触れていきたいと思います。Snowflake はデータウェアハウスであると同時に、Snowpark ML を用いることで機械学習モデルのトレーニングや推論も内部で実行することができ […]