- 2025年8月18日
GCP Dataprocについて！実際のデモで学ぶクラスタ構築とジョブ実行
はじめに 本記事では、GCP DataprocでのSparkクラスタ作成とPySparkジョブの実行を実際に行い、その手順と注意点を整理していきたいと思います。 Dataprocは、Apache SparkやHadoopなどのオープンソース分散処理フ […]
TAG
データ基盤
- 2025年8月30日
GCP Dataprocで始めるビッグデータ処理：AWS/Azureとの比較でわかる分析基盤の選び方
GCP Dataprocとは？ GCP Dataprocは、Google Cloud上でApache SparkやApache Hadoopなどのオープンソースビッグデータ処理フレームワークを、簡単かつ高速に実行できるマネージドサービスです。これによ […]
- 2025年8月12日
ETLのTransformを担う「dbt」のプロジェクトの設定とモデル作成について見ていきましょう
dbtプロジェクトの設定について dbtで処理を進めていくためには、dbtプロジェクトを作成・設定していきます。 下記のような形でdbtのディレクトリに「dbt_project.yml」を用意します。 dbt_project.ymlの中身は、下記のよ […]
- 2025年8月12日
データエンジニア必須！SnowPro＆Databricks資格の概要について
データ活用は企業競争力の鍵です。クラウドネイティブの分析基盤であるSnowflakeやDatabricks資格は、技術力と市場価値を同時に高める強力な武器です。この記事では概要をレビューしていきます。 データ系資格の重要性 近年、企業の意思決定やサー […]
- 2025年8月12日
クラウドのプロへの近道！AWS・Azure・GCP資格取得ガイド
クラウド市場は毎年二桁成長を続けており、今や企業のITインフラの中心はオンプレミスからクラウドへと移行しています。AWS、Azure、GCPといった主要クラウドサービスは、各業界の基幹システム、AIサービス、IoT基盤にまで幅広く活用されています。そ […]
- 2025年8月15日
データ活用を成功に導く！データ×AIプロジェクトの種類と概要についておさらいしましょう。
データ×AIプロジェクトには多様な形態があります。本記事では、代表的な4つのプロジェクトタイプについて、概要・目的・成果物をわかりやすく解説します。 1. 機械学習システム構築プロジェクト 機械学習システム構築プロジェクトは、機械学習モデルを構築し、 […]