 guzhujushi
|
6eab0babde
|
feat(data): transform.py 四个函数落地；补 18 条测试、清 5 条 ruff
实现（用户本人写）：
- normalize（minmax / vector / max，三种都按列）+ feature_range 校验 + 常量列不出 nan
- standardize（按列，ddof 真的传下去）+ 类型守卫
- log_transform（offset=None 时自动取 1 - min(x)，保证 x + offset >= 1）+ 类型守卫
- one_hot_encode（自动识别对象列 / 指定列 / drop_first）
- data/ 下的 L0 至此结清（L0 7/12）
Codex 的轻度修复（不改接口与语义）：
- 清掉 5 条 ruff：RET503 / F541 / RET504 / RET505 / SIM108
- supported_method 与 feature_range 的校验提到 np.asarray 之前（守卫集中开头）
- 修掉说反的报错文案（条件是要求下界 < 上界，原文写"上界必须小于下界"）
- one_hot_encode 自动识别时显式加上 str / string：只写 object 在 pandas 3 上是弃用路径，
每次调用发 Pandas4Warning，未来会变成"一列都选不中"的静默错误（详见坑 9）
测试：
- 新写 18 条（transform 段），其中两条是把原先挂着的 skip 转为实跑 ——
normalize / standardize 的实现此前一条测试都没跑到（详见个人易错点 9）
- 82 passed / 40 skipped / 0 xfailed；ruff 0；pyright 0
文档：
- STATUS.md：E 节 + 验证表（122 条用例分布）+ 下一步重写（transform 待定的 4 个口径）+ 决策 34
- docs/04-environment.md：新增坑 9（pandas 3 的 str dtype 与 select_dtypes 弃用路径，含实测对照表）
- docs/dev/personal-pitfalls.md：只追加第 9 条（实现写完但测试还挂 skip，绿灯是假的）
- CHANGELOG.md：本轮变更 + 记录 transform 待定的 4 个口径
|
2026-10-02 20:43:03 +08:00 |
|
|
guzhujushi
|
b6dc4bc5a6
|
feat(data): detect_outliers 收尾（文本列恒 False）+ 补测试与文档
实现（用户本人写 + Codex 轻度收尾）：
- 统计量（quantile / mean / std）与掩码写入都收窄到数值列，含文本列的赛题表不再崩
- 非数值列在掩码里恒 False（用户定的语义），docstring Notes 补上这条
- 删掉死代码 data=data.copy()：下面的 to_frame()/pd.DataFrame() 本就返回新对象，
函数全程只读 data，白复制一份；且它排在类型分派之前，会把错误入参的报错
从 ValueError 变成 AttributeError
- 删掉那行死代码后 pyright 反而暴露 1 个真错：df[Index] 被类型存根当成 Series，
.std() 于是被判成标量、std.replace(...) 非法。在取列子表处 cast 成 DataFrame
按运行时真值收窄（详见 docs/04-environment.md 坑 8）
测试：
- test_detect_outliers_survives_text_columns 摘掉 xfail 并加强断言（文本列必须恒 False）
- 新增 test_detect_outliers_all_text_frame_returns_all_false，钉住"整表无数值列"边界
- 58 passed / 2 xfailed -> 60 passed / 1 xfailed；ruff 0；pyright 0
- 仅剩 1 条 xfail：impute_missing 的 mode 分支就地改调用方的表（要选语义，留给用户）
文档：
- STATUS.md：L0 5/12、验证结果表、下一步重写、新增决策 32（非数值列恒 False）
- docs/04-environment.md：新增坑 8（pandas 存根让 df[Index] 退化成 Series，及三种无效修法）
- docs/dev/personal-pitfalls.md：只追加第 8 条（限制掩码 ≠ 限制统计量）
- CHANGELOG.md：本轮变更
|
2026-10-02 15:41:08 +08:00 |
|
|
guzhujushi
|
319b16b17c
|
fix(data): clean.py 轻度修复 + 摘掉 5 条已修好的 xfail
Codex 直接改的（格式 / 死代码 / 纯 bug，不动接口与语义）：
- winsorize(Series) 直接崩：select_dtypes 在 Series 上不存在，Series 分支提到最前并加数值 dtype 守卫
- winsorize 的分位数改为只在数值列上算，含文本列的赛题表不再崩（与已有 numeric_cols 判断对齐）
- 删掉 detect_outliers 里已成空操作的 df = pd.DataFrame(data)，去掉 df 别名
- clean_missing 的嵌套 if 合并（ruff SIM102），清掉 W293 行尾空白与函数内连续空行
测试：
- 5 条 xfail 经 XPASS 信号确认已修好，摘掉 mark 转正式用例
（detect_outliers 4 条 + winsorize 混合类型 1 条）
- 53 passed / 7 xfailed -> 58 passed / 2 xfailed
- 剩 2 条 xfail 保留，且不是漏改而是设计没定：
detect_outliers 遇文本列返回什么、impute_missing 的 mode 分支要不要就地改调用方的表
- ruff: 1 error -> All checks passed；pyright: 0 errors 不变
文档：
- STATUS.md：L0 进度 4/12、验证结果表、下一步重写、新增决策 31
（Codex 可直接改 src 的范围：纯 bug / 格式 / 死代码；要选语义的留给用户）
- CHANGELOG.md：本轮变更，并修掉 [Unreleased] 里被重复追加撑坏的一句
- docs/dev/personal-pitfalls.md：只追加第 7 条（守卫子句要排在类型分派之后）
|
2026-10-02 15:18:15 +08:00 |
|
|
guzhujushi
|
6758e81c9d
|
fix(data): 校验早于副作用，补空行；经验写入 pitfalls
save_table 的两处收尾（用户授权代改）：
- 后缀校验原先藏在 if/else 分支的 else 里，排在 path.parent.mkdir(...) 之后，
传 sub/x.txt 会先把 sub\ 建出来再抛 ValueError。改成守卫子句，集中在 mkdir 之前，
校验段结束后才产生副作用；此时 else 分支自然消失，用回 if/else 两路分派
- __all__ 与下一个 def 之间补回第二个空行（PEP 8 / E302）
测试：
- 新增 test_save_table_validates_before_touching_disk，
断言参数非法时 tmp_path 下一个条目都不留（ValueError 与 TypeError 两条路径）
- 40 passed / 44 skipped，两套环境一致；ruff All checks passed
文档：
- docs/dev/personal-pitfalls.md 追加条目 5（参数校验排在副作用之后）
与条目 6（把 lint 的"没报错"当成"没问题"），索引表同步加行
- STATUS：io.py 收尾，L0 第 3 项完成；测试计数 40
- CHANGELOG：Fixed 段补两条
|
2026-10-01 23:26:47 +08:00 |
|
|
guzhujushi
|
49fd84a2df
|
docs: L0 进度 3/12，记录 zstandard 残骸坑与决策 26/27
- STATUS.md：本次任务拆成「第一阶段已完成 / 第二阶段进行中」；
L0 3/12；测试计数改为 39 passed / 44 skipped；
下一步里写明 io.py 待修的两处（mkdir 早于校验、缺 Raises）
- docs/04-environment.md 坑 6：conda 升级留下的 *.conda_trash 残骸目录会被
Python 当成 namespace package 导入成功（__file__ 为 None），
pandas 3.0 因此抛 ImportError: Can't determine version for zstandard
直接打断 pd.read_csv；含排查方法与「改名禁用」的修法
- docs/dev/personal-pitfalls.md：条目 3（注解与 docstring 打架）复发 +1
- 决策 26：未实现的算法逐条 skip，禁用模块级 pytestmark
- 决策 27：zstandard 残骸改名禁用，不删不重装
- CHANGELOG：补 load_table/save_table 与 Fixed 段
|
2026-10-01 23:11:48 +08:00 |
|
|
guzhujushi
|
c93810ffb1
|
fix(core): 补齐 get_rng 类型校验，set_seed 覆盖 numpy 旧全局
get_rng 的"共享单例生成器"设计由用户本人提出，本提交只在其上修 bug。
- random_state 判断从 isinstance(x, int) 放宽到 (int, np.integer)：
np.int64 不是 int 的子类，之前会静默退回全局流、种子被无声忽略
- 非预期类型改成抛 TypeError（含 bool / float / str / list），不再静默降级
- get_rng 签名补上 np.integer 与 Generator，与 docstring 的承诺一致
- set_seed 同时调用 np.random.seed：sklearn / statsmodels 走的是 numpy
旧全局状态，不覆盖它们"提交能重跑"就有洞（带 noqa: NPY002 与理由）
- 测试：TestRandom 由 4 条增到 7 条（np.integer、非法类型、共享生成器推进）
- 新增 docs/dev/personal-pitfalls.md：个人易错点清单，只追加、不通读，
首批记录本轮 4 个点；docs/README.md 补上 05 与该文件的索引
- STATUS.md：L0 进度说明更新，决策 24 改写（共享单例）、新增决策 25
（src/ 实现默认由用户本人写）
|
2026-10-01 19:38:59 +08:00 |
|