データエンジニアリングにおけるAI活用戦略：縦と横のハーネスエンジニアリング
AIの生産性を左右する「ハーネスエンジニアリング」を縦（データフロー全体へのAIアクセス拡大）と横（非エンジニアへの知識スケールアウト）の2軸で整理し、データエンジニアリングを労働集約から資本集約へ転換する戦略を論じている。
Tag Archive
#データエンジニアリング
16件の記事があります。このテーマに関するエントリを新しい順にまとめています。
データエンジニアとして合理的意思決定過程のスケール・アウトを目指す
データエンジニアの仕事の本質は技術的手段ではなく、地位によらず全員が事実に基づき迅速に意思決定できる仕組みを構築・スケールアウトさせることだと定義し、目的を明確にすることで技術選択やBI・AI等の手段が一貫した方針の下に整理されると主張する。
フルサイクル・データ・エンジニア
モダンデータスタックの抽象化により少人数でもデータライフサイクル全体を扱える時代になったが、それは技術志向より問題解決志向のエンジニアに向いた働き方である。
SQL in the Wild : UNIQUEではない結合キーでJOINすると行数が爆発するRow Explosion
データウェアハウスではPK制約が強制されないため、一意と想定した結合キーの重複によりJOIN時に行数が爆発する。対策はユニーク性の継続テストとSQL側での重複排除であり、データは信用してはならない。
データエンジニアリング・チームの方針を考える：人々がインサイトを得るまでのステップの短縮を目指す
データエンジニアリングチームの目標設定として、SQL発行数やBI閲覧数のような手段依存の指標を批判し、インサイト到達までのステップ短縮というアウトカム志向の判断基準を提案している。
社内データ基盤 as a Product : いい感じにやっていけ
社内データ基盤はデータ提供ではなくビジネスインサイト提供を目的とし、インターフェースからインサイトまでの一連のユーザー体験を最大化するプロダクトマネジメントの対象として運営すべきである。
おれはデータエンジニアでもアナリティクスエンジニアでもなく、データを使ってビジネスをいい感じにしていきたいだけなんだ
データエンジニアやアナリティクスエンジニアといった職種の枠に収まらず、データパイプラインをプロダクトとして捉えビジネス価値に直結する仕事を全部やる「データ・ハッカー」という働き方を提唱している。
Dagster Cloudで運用するdbt : オーケストレーションツールの技術選定、および4ヶ月運用してわかったメリットとデメリット
dbt-coreのオーケストレーションにDagster Cloudを選定した理由と4ヶ月の運用知見を整理し、サーバーレス・開発体験・UI等の利点と学習コスト・知見不足の課題を報告する記事。
データプラットフォーム統括チーム・マネージャーとして
データの役割を「武器」と「共通言語」に整理し、組織横断のデータプラットフォーム統括チームを自ら立ち上げた経緯と、マネジメント学習のための古典的書籍リストを紹介している。
雑記：Architecure is Leadership, and Architecture for Leadership
データアーキテクトにはリーダーシップが必要だが、そもそもリーダーシップを発揮しやすいアーキテクチャを設計すべきだという「Architecture for Leadership」の考え方を、設計思想の一貫性・逸脱排除・説明容易性の3要素で提唱している…
ダッシュボード・プロトタイピング：手戻りなくユーザーが本当に欲しいダッシュボードを作るためのHow to
ダッシュボード開発ではいきなり実装せず、ラフスケッチで粒度・軸・フィルター要素についてユーザーと合意を取ってから着手することで手戻りを防ぎ、本当に必要なものを素早く届けられる。
データアナリストからアナリティクスエンジニアへ：スキルギャップと克服
データアナリストがアナリティクスエンジニアに転向する際のスキルギャップをGit操作・コマンドライン・dbt・CI/CDなどの観点で整理し、段階的な学習順序を提示している。
楽して構築するアナリティクスエンジニア向けターミナル環境整備【Zsh】
データアナリストをアナリティクスエンジニアに転身させる際のスキルギャップを埋めるため、Zshプラグイン群によるターミナル環境構築手順をコピペで完結する形で提供する記事。
雑記：データ分析パイプラインの「ラストワンマイル」問題をなんとかしたい
ダッシュボードで満たせない3割のデータニーズを非エンジニアに届ける「ラストワンマイル問題」を定義し、Streamlit等の柔軟なインターフェース提供とCI/CD整備で解決を図る方針を示した記事。
【データ分析基盤】Notionをデータソースとして使う
Notion APIでデータベースからCSVを生成しSnowflakeに取り込むことで、プロダクト側にない情報をダッシュボード化する仕組みと、運用上の注意点を解説している。
dbt Cloud, BigQuery, Looker Studioで始めるお手軽データ基盤【個人サービス向け】
個人サービスの日次KPIを自動レポート化するため、Cloud Functions・BigQuery・dbt Cloud・Looker Studioでほぼ無料のデータ基盤を構築した記録。WordPress のデータモデリング理解が最大の難所だった。