← 返回刚才阅读的位置

知识卡片

操作参考卡 · 9639.k · 生成模型:DeepSeek-V4.1-Flash

二十一年表合成一张表

理解等级:中级

单机路线的第一步不是建模,而是把 21 个年度文件变成一张表:Shell 循环遍历目录,用 sed ‘1d’ 删掉每个文件的表头再追加到 airdata.csv,避免 21 份表头混进数据;随后在 MySQL 建库建表并导入。能直接纵向拼接的前提是各年字段结构一致、语义稳定,也就是标准的长表格式。两个工程提醒:全量十几 G,导入与聚合都慢,调试期先用少数年份跑通 SQL 与 R 脚本;表头若漏删,数值列会被读成字符,后续聚合会静默出错而不是报错。描述统计也挂在这条链上:SQL 按年统计总航班数与到达延误数、平均出发与到达延误,再由 R 画折线。工具可以混用,Shell 拼文件、MySQL 聚合、R 画图,不必强求一套到底。

这张卡片看不懂?

已有反馈 · 0 条

    还没有人提交反馈。

    在整书笔记中的位置

    原书出处 · 1 处

    参考来源

    - 位置:《大数据挖掘与统计机器学习》第10章 大数据案例分析(源文件:extracted/大数据挖掘与统计机器学习/_epub-src/OEBPS/Text/chapter12_0002.xhtml,10.2.2 数据预处理) - 结论依据:原文步骤一用 Shell 循环加 sed 删表头合并 21 张表,步骤二在 MySQL 建库导表,并提示全量较大、可先用少数年份调试。 - 原始内容:步骤一:利用Shell命令将1998—2008年的21张表格合并为一张表格(记为airdata. csv),代码如下。