导言​

本文将快速讲解workflow的基本用法，包括

• 变量
• 临时表
• 控制流 workflow_spec.sql
• step读写数据
• 数据源
• 扩展
• UDF
• Transformer
• 自定义数据源

导言​

本文将具体展开日志驱动的实现逻辑和细节

导言​

本文将从混沌工程在数据工程领域的遐想来引入“日志驱动”的必要性。

导言​

本文将从以下几个维度展开Sharp ETL的数据工程化实践：

• 通过step组合成为workflow
• 支持通过自定义代码逻辑扩展
• 工程化代码生成，固化统一且标准的数据工程实践
  • 事实表和维度表的关联检查
  • 记录表与表关联过程中的未知值和不适用值
  • 数据质量问题分级分类记录
  • ... ...

导言​

本文结合目前的数据工程实践，尝试展开数据工程实践中ETL的原则，并对Sharp ETL做简要介绍。

ETL或ELT是进行数据处理的常见手段之一，随着数据平台渡过蛮荒时代开始精细化治理，原始的编码方式和无组织的SQL脚本已经不能满足需求。我们将会通过展开现有ETL在当前遇到的困境来引入Sharp ETL的独有但必不可缺的功能。