知识卡片
上网日志七层架构与爬虫隔离
上网日志处理系统按职责划分为七个部分,原文没有限定只能与相邻层交互。数据源从运营商系统服务器 定时拉取用户信息和上网日志,写入HDFS/HBase;接口层专职做外部数据交换(关系型数据库 采集、FTP文件采集、对外访问接口),把”怎么把数据弄进来/弄出去”这件事和后续处理逻辑 彻底分开;数据层负责清洗、转换、校验、装载,是分布式计算真正干活的地方;资源层单独 抽象出来管物理资源的自动部署和弹性伸缩,因为分布式架构的硬件部署复杂度本身就值得单独 一层来兜底,不能散落在业务层里;功能层做流程调度(串并联调度、优先级、超时重试、路由 判断、异步调度),是承上启下的编排层;应用层是具体算法实现(网页分类、词库构建、用户 行为分析);展示层只管把结果渲染成Web页面。网络爬虫是一个特殊组件,游离在这七层主链路 之外单独存在——因为爬虫需要访问公网互联网资源,而处理集群和电信运营商内部网络直连, 一旦爬虫所在环境被攻破,攻击者就可能借道进入运营商内网,所以爬虫集群和内部处理集群之间 必须用防火墙做强制隔离,这是”外部数据源”和”内部业务网络”之间的信任边界,不是普通的 性能优化考量。
结构图:
flowchart LR
S[数据源: 定时拉取用户/日志数据] --> I[接口层: 外部数据交换]
I --> D[数据层: 清洗转换校验装载]
D --> A[应用层: 网页分类/词库/行为分析]
A --> V[展示层: Web页面渲染]
F[功能层: 流程调度/重试/路由] -.编排.-> D
F -.编排.-> A
R[资源层: 物理资源自动部署与弹性伸缩] -.支撑.-> D
R -.支撑.-> F
W[网络爬虫: 独立组件] -.防火墙控制访问.-> I
这张卡片看不懂?
这张卡片的反馈已满 10 条,暂时无法继续提交。
已有反馈 · 0 / 10 条
还没有人提交反馈。
原书出处
参考来源
- 位置:《大数据时代的IT架构设计》第1篇《Hadoop技术在电信运营商上网日志处理中的应用
架构》"三、上网日志系统的技术架构方案"(源文件:_epub-src/OEBPS/text00006.html)
- 结论依据:原文逐层列出数据源/接口层/数据层/资源层/功能层/应用层/展示层各自的具体
职责,并单独说明网络爬虫因需要访问互联网、而处理集群与运营商内网直连,两者之间必须
用防火墙严格控制访问以保证网络部署安全,直接支撑本卡片的分层结构与隔离理由。
- 原始内容:由于网络爬取流程需要互联网资源支持,数据处理Hadoop集群是和电信运营商内部
网络互联,而且Hadoop集群的安全处理措施不够完善,因此,它们之间的访问需要严格控制,
以保证网络部署安全。在物理架构设计上,需要设计两个完整的内部集群网络,集群网络之间
需要用防火墙进行访问控制。