データエンジニアとして合理的意思決定過程のスケール・アウトを目指す
AI要約
データエンジニアの仕事の本質は技術的手段ではなく、地位によらず全員が事実に基づき迅速に意思決定できる仕組みを構築・スケールアウトさせることだと定義し、目的を明確にすることで技術選択やBI・AI等の手段が一貫した方針の下に整理されると主張する。
人間と社会をしていると、「あなたは何の仕事をしているんですか？」と聞かれる場面があるだろう。普段関わりがない人と仕事をする時とか、自己紹介する必要がある場面とかで。気転を聞かせて、パッと「こういう仕事をしています」と言えるとカッコいいなぁ、と思う。
自己紹介の場面じゃなくても、普段から自分が何のために働いているかははっきりさせたい。目的がはっきりしないと、手段と目的を取り違えたりしてむず痒い気持ちになる。
データ関係の仕事に携わるようになってそこそこ時間が経った。最近は「僕は人々が合理的に意思決定するための仕組みを作っているんですよ」と説明するようになった。可能な限り多くの人が、迅速に、合理的に意思決定できる仕組みを作る。相手がエンジニアなら「合理的な意思決定のプロセスをスケールアウトさせている」と説明したりする。
Snowflakeを導入したり、SQLを書いたり、BigQueryを触ったり、BIを作ったり、Terraformを書いたりするのは、どう転ぼうと手段の域を出ない。昔は手段と目的を混同してしまうこともあったが、はっきり分けたほうが良いことは自明だろう。
話のポイントはこうだ：
- 可能な限り多くの人々にリーチする仕組みを作ること
- 地位によらず、可能な限り全ての人間が事実に基づく意思決定を行える環境の方が、限定された人間しかデータが見えない世界よりも良いと信じる
- 「仕組み」を作ること
- 仕組み化され、多くの人がデータを分析できる環境の方が、人手に頼ったデータ分析しか行えない世界よりも良いと信じる
- 高速にPDCAを回す仕組みを整えていく
- データ分析を高速に行い、より短いサイクル・タイムを提供できる世界の方が、長く時間がかかる世界よりも良いと信じる
エンジニアではない人々にもわかるような言葉を選び、説明することができれば、対外的な説得はしやすくなる。「政治から逃げるな」の一つの答えではある。言葉選びを考えるだけで政治的な協力が得られ、事を円滑に進められるのなら、随分とコストパフォーマンスの良い投資ではないだろうか。
Zenn Articlezenn.dev政治から逃げるな - Matheus Limaauthor: contradiction29
自分がやっているのが合理的意思決定過程のスケール・アウトであると考えると、BIツールにおける認証の話と、SQLの話と、AIエージェントの話が同じ直線上に繋がってきたりする。
- BIツールにおける認証において、アカウント発行プロセスが長大であるより、すでに社内で利用しているGoogleアカウントで利用できるようにした方が絶対良い。アカウントの発行プロセスもスケーラビリティには影響する。
- データ加工用のSQLを整備し、使いやすいデータマートを作ろう。可能ならそのSQLは公開して、リネージを追えるようにしよう。
- 最良のデータ提供の形態がBIとは限らない。AIを通じた対話でデータ分析をする道のほうが、スケールはするのかもしれない。
目的がはっきりすると、非常に楽しい。