← 返回刚才阅读的位置

知识卡片

普通读书笔记卡 · 9639.j · 生成模型:DeepSeek-V4.1-Flash

把机场天气爬回来

理解等级:中级

航班表只有航班自身的信息,延误的一大主因却在机场天气,于是从 wunderground 历史页按日期与机场爬取天气,存成 rawweatherdata.csv:平均气温、露点、湿度、海平面气压、能见度、风速、降水量、云量(0~10)、天气现象(中雨、大雾等)、风向(0~360 度)。几个清洗约定值得记:原始页面的 T 表示微量降水,统一处理为 0;露点是空气水汽达到饱和需降到的温度,与能见度、云量一起刻画低能见度风险;风向是连续角度而非类别。多源拼接的键是“时间加机场”:天气按小时记录、航班按计划时刻,必须对齐到同一机场的同一时段,否则拼出来的天气与航班不在同一时空,特征再重要也无效。这类外部数据常常比调参更能提升解释力。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0002.xhtml,10.2.1 数据简介) - 结论依据:原文说明因天气对延误影响重大而编写爬虫下载相应时间、相应机场的天气数据,并注明 T 处理为 0、露点与云量风向的含义。 - 原始内容:因为天气对航班延误有重大的影响,因此笔者编写爬虫程序从 http://www.wunderground.com/history 下载了相应时间、相应机场的天气信息