データエンジニアリングにおけるAI活用戦略：縦と横のハーネスエンジニアリング
AIの生産性を左右する「ハーネスエンジニアリング」を縦（データフロー全体へのAIアクセス拡大）と横（非エンジニアへの知識スケールアウト）の2軸で整理し、データエンジニアリングを労働集約から資本集約へ転換する戦略を論じている。
Tag Archive
#技術
21件の記事があります。このテーマに関するエントリを新しい順にまとめています。
SQL in the Wild : UNIQUEではない結合キーでJOINすると行数が爆発するRow Explosion
データウェアハウスではPK制約が強制されないため、一意と想定した結合キーの重複によりJOIN時に行数が爆発する。対策はユニーク性の継続テストとSQL側での重複排除であり、データは信用してはならない。
日記2025-06-01 : 関数型ドメインモデリングとEffective TypeScript 第二版を読んだ
TypeScript歴2年で生じた「何がうれしいのか」という疑問に対し、『関数型ドメインモデリング』と『Effective TypeScript第二版』を続けて読むことで理解が深まったという読書記録。
荒ぶるjestのwatchモードよ、鎮まりたまえ
jestのwatchモードがMongoDBのバインドマウントディレクトリの書き込みを検知して無限リロードする問題を、watchPathIgnorePatternsで解決した記録。.gitignore対象でもjestのwatch対象からは除外されない…
ObsidianのVSCode向け拡張機能を作る
Obsidianのエディタ機能の不足をVSCode拡張機能で補うため、内部リンクのジャンプ・ファイル作成・ファイル名補完の3機能を自作し、Cursorとの併用でメモ整形の効率を上げた記録。
VRChatで動画プレイヤーが再生できないエラーに対応する
VRChatの動画プレイヤーがYouTubeのBot判定で再生不能になった問題を、IPv6経由のアクセスをファイアウォールで遮断しIPv4に限定することで解決した対処記録。
RemixでRequestオブジェクトからクライアントのIPアドレスを抜き出すだけの関数
Cloudflare Workers移行でremix-utilsが使えなくなったため、X-Forwarded-ForからIPアドレスを取得する関数を自作した話。crypto-jsのnode依存が原因。
Postgresのデータを`pg_dump`する際に詰まったメモ
SupabaseからCloudflare D1への移行時にpg_dumpのバージョン不一致で躓き、Dockerイメージで回避した手順とSQLite向けオプション設定のメモ。
Trigger of Microinteractions : スマート電球の罠
スマート電球と物理スイッチの併用により「同じ操作で同じ結果が得られない」状態が生じ、マイクロインタラクションのトリガー設計原則に反するUX上の問題が発生した事例を分析している。
マザーボードのBIOSをアップデートするときはよく名前を確認した方がいい
X570SマザーボードのBIOS更新時にB550用BIOSを誤って書き込み起動不能になり、CMOSクリアと正しいBIOS再適用で復旧したが、そもそもの故障原因は不明のまま残った。
健常者エミュレータ事例集を支える技術
健常者エミュレータ事例集はWordPress+LightSailを中心に、Next.js製投稿フォーム、dbt+BigQuery分析基盤、Lambda製X通知Botの4構成で運用されており、各技術選定の経緯と長短を解説している
Serverless Frameworkで実現するGitHub-flow
Serverless FrameworkとGitHub Actionsを組み合わせ、PR作成時にブランチ別のテスト環境へ自動デプロイし、クローズ時に自動削除するブランチデプロイをGitHub-flowに組み込む実装方法を解説している。
殺意ドリブン開発
有効性を失ったシステムやドキュメントは自然には消滅しないため、殺意を持って主体的に削除し跡形なく抹消せよという開発手法を提唱している。
StreamlitをApp Engineにデプロイする
Streamlitのデプロイ先としてApp Engineを選定した理由をIAP認証によるシームレスな社内限定公開、開発速度、GitHub-flowの実現の観点からEC2/ECS/Cloud Run/Streamlit in Snowflakeと比較…
Dagster Cloudで運用するdbt : オーケストレーションツールの技術選定、および4ヶ月運用してわかったメリットとデメリット
dbt-coreのオーケストレーションにDagster Cloudを選定した理由と4ヶ月の運用知見を整理し、サーバーレス・開発体験・UI等の利点と学習コスト・知見不足の課題を報告する記事。
楽して構築するアナリティクスエンジニア向けターミナル環境整備【Zsh】
データアナリストをアナリティクスエンジニアに転身させる際のスキルギャップを埋めるため、Zshプラグイン群によるターミナル環境構築手順をコピペで完結する形で提供する記事。
【データ分析基盤】Notionをデータソースとして使う
Notion APIでデータベースからCSVを生成しSnowflakeに取り込むことで、プロダクト側にない情報をダッシュボード化する仕組みと、運用上の注意点を解説している。
AWS LambdaのLayerをつくるためだけのDockerfile (Amazon Linux 2)
Amazon Linux 2ベースのDockerfileでPythonをビルドし、Lambda Layer用のzipを作成する手順メモ。
dbt Cloud, BigQuery, Looker Studioで始めるお手軽データ基盤【個人サービス向け】
個人サービスの日次KPIを自動レポート化するため、Cloud Functions・BigQuery・dbt Cloud・Looker Studioでほぼ無料のデータ基盤を構築した記録。WordPress のデータモデリング理解が最大の難所だった。
健常者エミュレータ事例集の維持費
健常者エミュレータ事例集の維持費はLightsail中心に月2000〜3000円程度と安く、コストに見合わないAdsense広告を停止した。
健常者エミュレータ事例集Wikiの記事をランダムに返すAPIを作った
健常者エミュレータ事例集Wikiにランダム記事表示機能の要望があり、Lambda function URLとPythonで記事をランダムに返すAPIを実装した。