知识卡片

普通读书笔记卡 · 2280.h.1.a.12.i

优先托管连接器

理解等级:初级

API 获取的现状:一个组织可能有数百个外部数据源,却没有通用的 API 数据交换标准,数据工程师要花大量时间读文档、与外部数据所有者沟通、编写维护连接代码(“软件工程的大部分工作只是接水管”)。三个趋势在改变现状:供应商提供各语言的客户端库;数据连接器平台(SaaS、开源、托管开源)提供开箱即用连接和自定义框架;数据共享让数据直接在 BigQuery、Snowflake、Redshift、S3 等平台上交换。

不要重复造轮子:托管服务看似昂贵,但要考虑自己的时间价值和建连接器的机会成本。许多托管服务支持自定义连接器(提供规格或在 Lambda 中运行连接代码,编排与同步由服务处理)。只为现有框架不支持的 API 保留自定义开发,并按软件工程最佳实践做版本控制、持续交付、自动化测试,再借助编排框架减轻运维负担。

托管数据连接器:用户设置源和目标、获取方式(CDC、复制、截断重载)、权限凭证和更新频率,同步由供应商全面管理和监控,失败时发出带原因的告警。作者建议用托管连接器平台而不是自建——连接器的创建和管理在很大程度上是应该尽量外包的繁重工作。

实时获取:消息队列和事件流既是源系统也是获取方式。流式获取是动态、非线性的——数据被发布、消费、再发布、再消费,不同于批量的静态工作流。要保证足够的分区带宽、内存、磁盘、CPU 并自动扩缩;自管流平台开销大,可考虑托管服务。

这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《数据工程之道:设计和构建健壮的数据系统》第07章《第7章 获取》7.5.3 API;7.5.4 消息队列和事件流平台;7.5.5 托管数据连接器(源文件:extracted/数据工程之道-设计和构建健壮的数据系统/_epub-src/EPUB/xhtml/Section0013.xhtml,来源项目 book-sources) - 结论依据:7.5.3节说明API获取缺乏标准及三个改善趋势,主张不重复造轮子;7.5.4节说明流式获取的动态特性与资源要求;7.5.5节建议优先使用托管连接器平台。 - 原始内容:如今,数据连接器的创建和管理在很大程度上是需要尽可能外包的繁重工作。