特征工程是通过理解业务与数据分布，提升特征对目标变量的解释力、降低噪声与冗余的过程；包括缺失值处理（数值型用均值/中位数，类别型新增“未知”或用众数）、慎删样本等。

特征工程：让数据更适合模型学习

特征工程不是简单地把原始数据丢给模型，而是通过理解业务和数据分布，把信息更有效地表达出来。关键在于提升特征对目标变量的解释力，同时减少噪声和冗余。

常见操作包括：

• 缺失值处理：数值型可用均值/中位数填充，类别型建议新增“未知”类别或用众数；慎用直接删除，尤其当缺失比例不高（如
• 编码类别变量：有序类别用序数编码（如“低/中/高”→0/1/2），无序类别优先用独热编码（pd.get_dummies）或目标编码（需防数据泄露，务必在交叉验证内完成）
• 数值特征缩放：树模型（如随机森林、XGBoost）不依赖缩放，但SVM、逻辑回归、神经网络必须做；推荐用StandardScaler（标准化）或MinMaxScaler（归一化），注意拟合（fit）只在训练集上进行
• 构造有意义的新特征：比如时间字段可拆解为“星期几”“是否节假日”，地址可提取“城市等级”“距市中心距离”，文本可统计关键词频次或用TF-IDF向量化

模型评估：别只看准确率

在非均衡数据（如欺诈检测、故障预测）中，准确率（accuracy）会严重误导。评估必须匹配业务目标，选择合适指标并坚持在同一数据划分下比较。

核心原则：

• 严格分层划分数据：用train_test_split(..., stratify=y)保持训练集和测试集中各类别比例一致；时间序列数据则须按时间顺序切分，禁止随机打乱
• 多指标协同判断：
  • 二分类：看精确率（查准率）、召回率（查全率）、F1值，配合ROC曲线和AUC；关注混淆矩阵中“漏报”（假阴性）和“误报”（假阳性）哪类代价更高
  • 回归任务：用MAE（对异常值鲁棒）、RMSE（惩罚大误差）、R²（解释方差占比），避免单看R²过高而忽略残差模式
• 验证稳定性：单次划分结果易受随机性影响，用交叉验证（如cross_val_score或StratifiedKFold）获取指标均值与标准差，标准差过大说明模型泛化能力弱或特征不稳定

代码片段：端到端小示例

以下是一个简明可运行的流程示意（基于scikit-learn）：

# 特征预处理管道
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.compose import ColumnTransformer
from sklearn.ensemble import RandomForestClassifier
假设 numeric_cols = ['age', 'income'], cat_cols = ['gender', 'city']
preprocessor = ColumnTransformer(
transformers=[
('num', StandardScaler(), numeric_cols),
('cat', OneHotEncoder(drop='first'), cat_cols)
],
remainder='passthrough'
)
构建完整管道
pipe = Pipeline([
('preproc', preprocessor),
('model', RandomForestClassifier(random_state=42))
])
评估（自动应用预处理）
from sklearn.model_selection import cross_val_score
scores = cross_val_score(pipe, X_train, y_train, cv=5, scoring='f1')
print(f"F1 (5-fold CV): {scores.mean():.3f} ± {scores.std():.3f}")

容易踩的坑

很多效果差不是模型问题，而是流程疏漏：

• 训练集信息泄露到测试集：例如用整个数据集算均值去填缺失值，或在划分前做了标准化——这会让评估过于乐观
• 忽略特征重要性分析：训练完立刻调参，却不检查哪些特征实际起作用；用model.feature_importances_或SHAP值定位无效/异常特征
• 未重采样就硬训非均衡数据：过采样（SMOTE）或欠采样要放在交叉验证循环内，否则同样导致评估失真
• 用测试集调参：超参数优化（如GridSearchCV）必须只用训练集；最终性能报告只能基于一次独立测试集