 guzhujushi
|
3432bf3e50
|
fix(stats): correlation_matrix 修硬 bug，两处 pyright 报错按坑 8/10 正经修（无 ignore）
用户报的是"63 行 p 值赋值报错"。查下来：63 行运行完全正常（p 是 np.float64），
pyright 那条是 scipy 存根的缺陷。但顺着看发现了真正跑不起来的第 41 行。
correlation_matrix:
- 硬 bug: `if numeric_cols == 0` 拿 Index 和标量比 -> 得到布尔数组。
0 列时静默不报错、1 列时碰巧能跑、>=2 列直接 ValueError 崩（而 >=2 列正是常见情况）。
改成 len(numeric_cols) == 0，并加回归用例
- pyright 两处报错都不是运行时问题，且一处 # type: ignore 都没挂:
- data[numeric_cols] 是坑 8 的 DataFrame | Series 重载 -> cast 收窄
- `_, p = stats.pearsonr(...)` 解包退化成 object（scipy 的返回值是 _make_tuple_bunch
运行时拼的类，存根里没有 pvalue）-> 新增 _pvalue(result: Any) -> float 小助手统一取，
后面 t_test / anova / chi_square_test 可复用
- method 校验提到最前；add_stars 的 elif 链改 if；清掉 3 条 F541 与 1 条 I001，ruff 归零
- 顺带记录两处待定：对角线被标了 ***；含 NaN 时 corr 成对删失而 pearsonr 不删，r 与 p 对不上
tests:
- test_correlation_matrix_diagonal_is_one 由 skip 改成 xfail(strict=False)（决策 30）:
契约要数值矩阵、实现返回带星标字符串表，口径待拍板
- 新增 2 条：多列数值表能跑通、非法输入报错
验证: pytest 105 passed / 38 skipped / 1 xfail；ruff All checks passed；pyright 0 errors。
docs: STATUS.md（correlation_matrix 进行中 + 决策 40 + 下一步 A/B/C 选项）；CHANGELOG；
personal-pitfalls 追加第 13 条（Index == 标量 得到布尔数组）；
docs/04-environment.md 追加坑 10（scipy 检验结果的存根缺陷）
|
2026-10-03 14:45:10 +08:00 |
|
|
guzhujushi
|
cfc1be31ca
|
fix(stats): CV 改用 |mean|，并记录决策 37/38/39 与经验 12
coefficient_of_variation:
- 分母由 mean 改为 |mean|（用户本人改），均值为负时 CV 不再是负值
- docstring 摘要 / Returns / Notes 同步，加一条测试钉住"均值为负时 CV 仍为正"
口径拍板（2026-10-03）:
- 决策 37: 非数值列的处置按输出契约分，不按包分 —— describe/zscore 丢掉（吐数值结果表），
detect_outliers 保留列、掩码恒 False（吐与原表同形的掩码），刻意不统一
- 决策 38: CV 用 sigma/|mean|
- 决策 39: 工作约定 —— 语义/非法输入口径由用户拍板，Codex 只列选项不代选；
ruff / STATUS.md / CHANGELOG.md / tests / docstring 这类与算法无关的工程事务 Codex 顺手补
经验（docs/dev/personal-pitfalls.md，只追加）:
- 第 12 条: 三个并列的 if 让后面的静默覆盖前面的（transform.normalize 三种 method 实际只走 max）
第 11 条（上一轮）是 descriptive 的 .loc 对齐失败静默填 NaN —— 两条的共同点是"不抛异常"
验证: pytest 103 passed / 39 skipped；ruff All checks passed；pyright 0 errors。
docs: STATUS.md 决策 37/38/39 + 下一步；CHANGELOG 记录
|
2026-10-03 13:26:13 +08:00 |
|
|
guzhujushi
|
e9624cb3a7
|
feat(stats): describe 落地，修掉一个静默填 NaN 的 bug（L0 8/12）
src/stats/descriptive.py 由用户本人实现，这里做审查 + 代修。
describe:
- 真 bug：df_num.describe().T 把表转反（行=变量、列=指标），而 docstring 与
test_describe_reports_expected_keys 定的是"行=指标、列=变量"。转置后
.loc[指标名] = <按变量索引的 Series> 与列名零交集，pandas 不报错，直接把
missing / missing_ratio / skewness / kurtosis 四行整行填成 NaN（静默丢数据）；
weights 分支则报 cannot set a row with mismatched columns。去掉 .T 一处修好三件事
- 补 median 行（pandas 只有 50%，测试契约定的是 median）
- 入参放宽到 list / tuple / ndarray（00_quickstart.py 传的就是 ndarray）
- weights 校验补齐：维度 / 长度 / NaN / 负值 / 和为 0（原先和为 0 时裸抛 ZeroDivisionError）
- docstring 按 4.7 补 Parameters / Returns / Raises
zscore: 修 RET505；docstring 补齐；DataFrame 取列处按坑 8 用 cast 收窄
coefficient_of_variation: 均值为 0 改抛 ValueError（取值问题不是类型问题）；
空数组提前报错（原先静默 nan + RuntimeWarning）；错别字与文案修正
tests: 去掉 test_stats.py 的模块级 pytestmark —— 它把 6 条测试全部跳过（含已实现的
describe），正是决策 26 要禁的写法。改为逐条 skip 未实现的 5 条，并新增 20 条用例。
验证：pytest 102 passed / 39 skipped（原 82/40）；ruff All checks passed；pyright 0 errors。
examples/01_clean_and_describe.py 填掉 TODO(L0)，实测 exit 0。
docs: STATUS.md L0 8/12 + 决策 35/36 + 三处待拍板口径；CHANGELOG 记录；
personal-pitfalls 追加第 11 条（pandas 对不齐就静默填 NaN）
|
2026-10-03 13:17:58 +08:00 |
|
|
guzhujushi
|
5319589dfd
|
chore: 初始化 MCM/ICM Toolkit 仓库骨架
审查并精简 ChatGPT 的建库建议后落地的第一版骨架，只定接口不写实现。
- 建议审查：14 个包 → 7 个；约 250 个函数 → 约 40 个；5 个 Result 类 → 1 个
（docs/01-suggestion-review.md）
- docs/：架构、路线图（含永久不做清单）、环境、Git 工作流、函数卡片模板
- src/mcm_toolkit/：core / data / stats / models / solve / decision / viz
共 23 个模块，均为签名 + docstring + NotImplementedError
- tests/：9 个文件，其中 test_api_surface.py 已通过（20 passed）
- examples/ problems/ notebooks/ figures/ tables/ 骨架
- pyproject.toml（核心依赖 4 个 + 6 组 extras）、environment.yml
- scripts/：setup-venv.ps1（ASCII + LF）、setup-conda.ps1、doctor.ps1
- 环境：.venv（system-site-packages）与 conda 环境 mcm-toolkit 均已建好，
数值栈版本与 base 完全对齐（numpy 2.4.6 / scipy 1.18.1 / pandas 3.0.6，MKL 后端）
|
2026-10-01 17:43:48 +08:00 |
|