知识卡片
把机场天气爬回来
航班表只有航班自身的信息,延误的一大主因却在机场天气,于是从 wunderground 历史页按日期与机场爬取天气,存成 rawweatherdata.csv:平均气温、露点、湿度、海平面气压、能见度、风速、降水量、云量(0~10)、天气现象(中雨、大雾等)、风向(0~360 度)。几个清洗约定值得记:原始页面的 T 表示微量降水,统一处理为 0;露点是空气水汽达到饱和需降到的温度,与能见度、云量一起刻画低能见度风险;风向是连续角度而非类别。多源拼接的键是“时间加机场”:天气按小时记录、航班按计划时刻,必须对齐到同一机场的同一时段,否则拼出来的天气与航班不在同一时空,特征再重要也无效。这类外部数据常常比调参更能提升解释力。
这张卡片看不懂?
这张卡片已通过人工审查,不再接受失败反馈。
已有反馈 · 0 条
还没有人提交反馈。
在整书笔记中的位置
原书出处 · 1 处
- 第10章 大数据案例分析 · 查看原书依据
因为天气对航班延误有重大的影响,因此笔者编写爬虫程序从 http://www.wunderground.com/history 下载了相应时间、相应机场的天气信息
参考来源
- 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0002.xhtml,10.2.1 数据简介)
- 结论依据:原文说明因天气对延误影响重大而编写爬虫下载相应时间、相应机场的天气数据,并注明 T 处理为 0、露点与云量风向的含义。
- 原始内容:因为天气对航班延误有重大的影响,因此笔者编写爬虫程序从 http://www.wunderground.com/history 下载了相应时间、相应机场的天气信息