クラウド・データ基盤－クラウド×データの研究所

AgentMesh システムとは？──AIエージェントの協働基盤

近年、AIエージェントがタスクを自律的に遂行する技術「Agentic AI」が注目を集めています。その中で、「AgentMesh（エージェントメッシュ）」は、複数のAIエージェントが協調し、信頼性高く連携できるエコシステム構築のための基盤技術です。 […]

　データエンジニアリングにおけるETL処理において、DWに存在するデータに対してT(Transform)の処理を実施するツールとしてdbt(data build tool)が有名です。　dbtにおいて、整形するSQL文を柔軟に記述できる方法としてJ […]

　データエンジアリングの領域でIceberg(アイスバーグ)という技術をよく聞きます。これは、大量のデータ(ビックデータ)を効率よく扱う(高速で一貫性のあるクエリ)ためのオープンソースのテーブル形式なんですね。 https://iceberg.apa […]

こんにちわ、研究所です。今日は機械学習の自動化の仕組みであるAutoMLについてみていきたいと思います。 1. AutoML（自動化された機械学習）とは？ AutoML（Automated Machine Learning）とは、機械学習のモデル構 […]

GCPとは Google Cloud Platform（GCP）は、Google検索やYouTubeと同じスケールのインフラ上で、コンピューティング・ストレージ・AI・分析の200以上のサービスを提供するクラウドです。特にデータ分析領域では、サーバレ […]

Microsoftが展開する Microsoft Azure は、Windows／Office環境に親和性が高く、エンタープライズ向けのクラウド活用に強みがあります。 Azureとは？他クラウドとの比較 Microsoft Azure は、世界で二番 […]

世界最大のクラウドプロバイダーである Amazon Web Services（AWS）は、データストレージ・分析・機械学習など幅広いサービスを提供し、グローバルに約30%以上の市場シェアを維持しているクラウドサービスです。そもそもクラウドとは？ […]

dbt（Data Build Tool）は、データウェアハウス内の変換処理（Transform）をコード化し、テスト・ドキュメント・バージョン管理を備える、データチーム共通の変換パイプラインフレームワークです。この記事で概要をレビューします。 1. […]

BigQueryとは？ Google の完全マネージドなサーバレス型データウェアハウスで、ペタバイト規模の分析をSQLで高速実行可能なのが特徴です。インフラ管理不要で、ストレージと計算が分離された設計により、柔軟なスケーリングとコスト制御が実現され […]

1. dbtとは？──ELTの“T”に特化した変換ツール従来のデータ処理は「ETL（Extract → Transform → Load）」が主流でしたが、クラウドデータウェアハウスの進化により、処理の流れは「ELT（Extract → Load […]