Feb

21

第1回 Data Engineering Design Patterns 読書会

データエンジニアリングで最も一般的な問題を解決するためのレシピ集

Organizing : JavaEE勉強会

Hashtag ：#javaeestudy

Ads

Registration info	無料リモート参加(discord) Free FCFS 3/50
Attendees	View Attendee List
Start Date	2026/02/21(Sat) 13:00 ～ 18:00 Google Calendar iCal
Registration Period	2026/01/17(Sat) 18:38 〜 2026/02/21(Sat) 18:00まで
Location	オンラインオンライン
出席登録	(イベント開始時間の2時間前から終了時間まで、参加者のみに公開されます)

内容

Data Engineering Design Patterns 読書会
- 今回はPreface から読み進めます
進め方
- 書籍の内容を翻訳および要約し、それを勉強会で共有して、参加者で議論します
- 次回分の要約は希望者を募って行います。要約を行わずに参加を継続するだけでも大丈夫です！
- ラジオのように視聴される方も歓迎です！
  - 声を発するのに抵抗がある方向け
  - 録音はしていません
書籍は以下のサイトより入手できます
主催 : JavaEE勉強会創立 2004年 (Java EE勉強会)
- J2EE(Java EE)に関連した話題を議論する勉強会
- 2004年8月から月1回のペースで定期的に開催を続けています(第228回目)

以下の招待URLから Discord サーバー javee-study-jp へ参加し、#data-engineering-design-patterns のチャンネルに参加してください。
https://discord.gg/Evu3WJcu3H
勉強会中は主に、Voice Channels → Generalにて画面共有、音声チャットでやりとりします。

目次
Preface
1. Introducing Data Engineering Design Patterns
What Are Design Patterns?
Yet More Design Patterns?
Common Data Engineering Patterns
Case Study Used in This Book
Chapter 1 Summary
2. Data Ingestion Design Patterns
Full Load
Incremental Load
Replication
Data Compaction
Data Readiness
Event Driven
Chapter 2 Summary
3. Error Management Design
Unprocessable Records
Duplicated Records
Late Data
Filtering
Fault Tolerance
Chapter 3 Summary
4. Idempotency Design Patterns
Overwriting
Updates
Database
Immutable Dataset
Chapter 4 Summary
5. Data Value Design Patterns
Data Enrichment
Data Decoration
Data Aggregation
Sessionization
Data Ordering
Chapter 5 Summary
6. Data Flow Design Patterns
Sequence
Fan-In
Fan-Out
Orchestration
Chapter 6 Summary
7. Data Security Design Patterns
Data Removal
Access Control
Data Protection
Connectivity
Chapter 7 Summary
8. Data Storage Design Patterns
Partitioning
Records Organization
Read Performance Optimization
Data Representation
Chapter 8 Summary
9. Data Quality Design Patterns
Quality Enforcement
Schema Consistency
Quality Observation
Chapter 9 Summary
10. Data Observability Design Patterns
Data Detectors
Time Detectors
Data Lineage
Afterword