Ch14 数据工程¶
AI 的燃料：实时入湖、流处理、数据质量
本章收录 26 篇实体，按深度递增排列。
本章导航¶
| Level | 含义 | 篇数 |
|---|---|---|
| ⭐ 入门 | 零基础可读 | 2 |
| ⭐⭐ 工程师 | 需编程基础 | 1 |
| ⭐⭐⭐ 专家 | 需ML基础 | 18 |
| ⭐⭐⭐⭐ 科学家 | 需研究背景 | 4 |
| ⭐⭐⭐⭐⭐ 大师 | 前沿/哲学 | 1 |
导读¶
没有好数据，就没有好模型。
本章覆盖 AI 系统背后的数据工程：阿里云 Kafka × Iceberg 零 ETL 实时入湖、CDC（Change Data Capture）的 Write-Ahead Log 设计、ClickHouse 大规模摄取、以及 TiDB Cloud 的 Agent-Native 数据库设计。
数据工程看似"底层"，但它直接决定了 RAG 的检索质量、训练数据的新鲜度、以及 Agent 能否访问实时业务数据。
如果你的 AI 系统表现不佳，先检查数据管道，再检查模型。
本章内容¶
⭐ 入门（2 篇）¶
- 001. 使用 Amazon S3 Tables 优化数据湖：从Hudi 迁移到托管 Iceberg
- 002. Amazon Quick: Accelerating the path from enterprise data to AI-powered decisions
⭐⭐ 工程师（1 篇）¶
⭐⭐⭐ 专家（18 篇）¶
- 004. ai 驱动的大数据工程 从平台驱动到 aidlc 的范式迁移
- 005. Kimi K2.6背后的Agent Database：Agent-native 时代的数据Infra竞争，跟过去30年有何不同
- 006. Databricks Storage Ecosystem & OpenSharing：企业数据治理从 Migrate Everything 到 Govern Everything 的范式转变
- 007. Can We Agree on a Storage/Workload Architecture Taxonomy? — Jack Vanlightly
- 008. nOps FinOps Agent 架构：语义层驱动的数据分析 Agent 设计
- 009. ClickHouse Ingestion at Scale: An Open-Source Zepto Engineering Story
- 010. GitHub Multilingual Repositories Dataset — 4000 万仓库多语言元数据
- 011. Write-Ahead Intent Log: a Foundation for Efficient CDC at Scale
- 012. The Data Operating System for the Foundation Model Era — Data Juicer
- 013. Amazon Quick integration with time-series databases for market intelligence using MCP
- 014. Metric Semantic Layer: How Lyft Governs and Scales Key Data Definitions
- 015. verify-data：一个端到端的数据验数 Agent Skill
- 016. LiveKit Agents：给大模型接上麦克风，没你想的那么简单
- 017. DDoSing Software Delivery Pipelines
- 018. Goodfire Predictive Data Debugging：可解释性指导 Post-Training 数据塑形
- 019. Stop Giving Your Agents Database Credentials — Agent Data Governance Patterns
- 020. Amazon Redshift 推出集成数据湖查询引擎的 Graviton RG 实例
- 021. SQL NOT IN 与 NULL 的经典陷阱：De Morgan 定律到解析器行为
⭐⭐⭐⭐ 科学家（4 篇）¶
- 022. Data for AI：明其所耗，知其所因！让每一分 Token 消耗都可量化的全栈实践
- 023. Good QC for RL Data
- 024. EVA-Bench Data 2.0: 3 Domains, 121 Tools, 213 Scenarios
- 025. Moneyball for Physical AI
⭐⭐⭐⭐⭐ 大师（1 篇）¶
本章收束¶
如果 AI 系统表现不佳，先检查数据管道，再检查模型。这一章证明了一件事：实时、干净、有语义的数据层不是"底层杂活"，而是 RAG 的检索质量、Agent 的业务理解、训练数据的新鲜度共同的地基。数据工程的水平，就是 AI 系统的天花板。