稀疏感知的默认方向学习

面对缺失值，XGBoost没有采用”填充一个估计值”的常规思路，而是给每个树节点学习一个”默认方向”：训练时分别假设缺失值全部划入左子节点、全部划入右子节点，比较两种假设下的分裂收益，选收益更高的方向作为该节点处理缺失值的规则。这样缺失值本身不需要被赋予任何具体数值，模型直接学习”缺什么样的值该走哪条路”，且计算量只需在已排序数据上线性扫描一次。这个思路的启发是：处理缺失数据时，与其纠结用什么值填充，不如把”缺失”当成一个独立类别，让模型自己学习这个类别该怎么被对待。