这是一个创建于 1300 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前自己是一个超菜的弱鸡。 准备做的是一个回归器模型（不是分类器）。
已经从原始输入提取出了不少特征值。但是这些特征值都还没有经过清洗。
目前观察了一下这些值，发现存在以下问题：
- （由于某类特征值是来自于第三方程序的提取结果）某些值是无效值，我已经记录了这些无效值：即对于某一列（ pandas 里面的 column ）特征值，我都有另一个 DataFrame 的 column 记录了一一对应地记录了是否为无效值（ 0 无效，1 有效）无效值大概占了 1%吧。
- 除了上面的无效值之外，某些特征里还有少量离群值。
请问一下各位前辈，这些数据问题怎么处理？按什么顺序处理？谢谢大家了
（数据量还是比较大的，10k 条 x 2k 特征）
（我原本计划用有效值的平均值来填充无效值，但是统计后发现，离群值造成了平均值和中位值偏差太大）
 |
1
wannaspring 2022-06-04 10:44:59 +08:00
问题 1. 根据你数据的实际情况， 如果是正态分布的，使用平均值填入，如果没有必要使用 dropna 丢弃
问题 2. pyOD 处理 outliers 不错 一般是 find na -> dropna -> labelencoder -> epa -> find outliers (interquartile ) -> handle outliers with pyOD -> data scaling(保证在同一比例) -> data spliting(train & test) -> create model -> model train -> mode evaluate |
|
2
wannaspring 2022-06-04 10:45:18 +08:00
@wannaspring 我个人一般这么做， 但是我也是个菜鸟
|
Select Language