知识卡片
外部数据封装器:把外部数据源伪装成本地表
外部数据封装器(FDW)提供了一种统一的方式,让文件系统上的文件、另一台MySQL服务器、甚至另一个PostgreSQL集群里的数据,都能”看起来像”当前数据库里的一张普通表——数据本身仍留在原地,但可以用标准SQL去查询它。搭建流程分四步:安装对应的封装器扩展;创建服务器对象(登记要连接的目标——IP、端口或文件路径等细节);创建用户映射(提供访问目标数据源所需的身份验证信息,具体是否需要取决于服务器对象的类型);创建外部表(用FOREIGN关键字声明这张表实际映射到哪个服务器对象上的哪份数据)。这个机制有一个特别巧妙的用途:把网络访问日志或其他日志文件包装成一张外部表,就能直接用SQL对着日志做分析——按会话标识或用户名排序、找出某个用户的操作序列、统计GET和POST请求各自的总数、按错误类型计数,而不需要另外写脚本去解析文本文件。当分析目标同时涉及”日志文件里的会话行为序列”与”事务数据库里这个用户的完整档案”时,仅靠文件类的FDW是不够的——还需要针对PostgreSQL本身设置FDW,把事务系统里的用户数据当作外部表接入到做分析的数据仓库环境中,两类FDW配合起来才能把”谁做了什么”和”这个谁到底是谁”关联到一起分析。通过FDW执行查询的性能高度依赖所连接的远程服务器本身的响应能力;是否能往外部表里写数据,也取决于具体的封装器实现——只要连接远程服务器的用户拥有相应权限,PostgreSQL的封装器机制本身是允许写入的。
结构图:
flowchart LR
A["安装FDW扩展"] --> B["创建服务器对象<br/>(登记IP/端口/路径)"]
B --> C["创建用户映射<br/>(视目标类型决定是否需要)"]
C --> D["创建外部表<br/>(FOREIGN,映射到目标数据)"]
D --> E["本地SQL查询<br/>=像查普通表一样"]
E -.典型用例.-> F["日志文件当外部表<br/>用SQL做会话/错误分析"]
E -.典型用例.-> G["远程PostgreSQL数据库当外部表<br/>把事务系统用户数据接入分析环境"]
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《数据架构师的PostgreSQL修炼:高效设计、开发与维护数据库应用》第12章《PostgreSQL额外功能》之"12.1.4 外部数据封装器"(源文件:_epub-src/OEBPS/text00128.html)
- 结论依据:原文说明"FDW提供了一种访问外部PostgreSQL集群的数据的手段。数据可以放在文件系统上、MySQL服务器上,或另一个PostgreSQL集群上……步骤通常包括:安装扩展……创建一个服务器对象……创建用户映射……创建外部表……为网络日志和其他日志文件创建类似的表是一个很好的实例。这样就可以使用简单的SQL语句进行数据分析", 直接支撑本卡关于FDW四步骤及日志分析用例的结构图。
- 原始内容:通过数据封装器执行查询的性能会有很大的不同,这取决于我们连接到的远程服务器。是否可以写入数据到外部表取决于数据封装器。