知识卡片

结构图卡 · 2324.e.1

上网日志七层架构与爬虫隔离

理解等级:未标注

上网日志处理系统按职责划分为七个部分,原文没有限定只能与相邻层交互。数据源从运营商系统服务器 定时拉取用户信息和上网日志,写入HDFS/HBase;接口层专职做外部数据交换(关系型数据库 采集、FTP文件采集、对外访问接口),把”怎么把数据弄进来/弄出去”这件事和后续处理逻辑 彻底分开;数据层负责清洗、转换、校验、装载,是分布式计算真正干活的地方;资源层单独 抽象出来管物理资源的自动部署和弹性伸缩,因为分布式架构的硬件部署复杂度本身就值得单独 一层来兜底,不能散落在业务层里;功能层做流程调度(串并联调度、优先级、超时重试、路由 判断、异步调度),是承上启下的编排层;应用层是具体算法实现(网页分类、词库构建、用户 行为分析);展示层只管把结果渲染成Web页面。网络爬虫是一个特殊组件,游离在这七层主链路 之外单独存在——因为爬虫需要访问公网互联网资源,而处理集群和电信运营商内部网络直连, 一旦爬虫所在环境被攻破,攻击者就可能借道进入运营商内网,所以爬虫集群和内部处理集群之间 必须用防火墙做强制隔离,这是”外部数据源”和”内部业务网络”之间的信任边界,不是普通的 性能优化考量。

结构图:

flowchart LR
    S[数据源: 定时拉取用户/日志数据] --> I[接口层: 外部数据交换]
    I --> D[数据层: 清洗转换校验装载]
    D --> A[应用层: 网页分类/词库/行为分析]
    A --> V[展示层: Web页面渲染]
    F[功能层: 流程调度/重试/路由] -.编排.-> D
    F -.编排.-> A
    R[资源层: 物理资源自动部署与弹性伸缩] -.支撑.-> D
    R -.支撑.-> F
    W[网络爬虫: 独立组件] -.防火墙控制访问.-> I
这张卡片看不懂?

已有反馈 · 0 / 10 条

    还没有人提交反馈。

    原书出处

    参考来源

    - 位置:《大数据时代的IT架构设计》第1篇《Hadoop技术在电信运营商上网日志处理中的应用 架构》"三、上网日志系统的技术架构方案"(源文件:_epub-src/OEBPS/text00006.html) - 结论依据:原文逐层列出数据源/接口层/数据层/资源层/功能层/应用层/展示层各自的具体 职责,并单独说明网络爬虫因需要访问互联网、而处理集群与运营商内网直连,两者之间必须 用防火墙严格控制访问以保证网络部署安全,直接支撑本卡片的分层结构与隔离理由。 - 原始内容:由于网络爬取流程需要互联网资源支持,数据处理Hadoop集群是和电信运营商内部 网络互联,而且Hadoop集群的安全处理措施不够完善,因此,它们之间的访问需要严格控制, 以保证网络部署安全。在物理架构设计上,需要设计两个完整的内部集群网络,集群网络之间 需要用防火墙进行访问控制。