Newer
Older
TIASJudgeModel / src / tias_judge_model / data / split.py
"""患者単位の分割(単一分割・K-fold 交差検証)と分割後の集計.

分割は常に `patient_id` 単位で行い,同一患者が複数の分割に跨らないようにする(SPEC_02).
1 患者は 1 つの label しか持たない(manifest の検証で保証)ため,患者の一覧を label で
層化して分割すれば「患者単位」と「クラス層化」を同時に満たせる.
"""

from __future__ import annotations

import logging
import math
from collections import Counter
from collections.abc import Collection, Iterable, Sequence
from dataclasses import dataclass

import numpy as np
from sklearn.model_selection import StratifiedKFold

from tias_judge_model.data.classes import CLASS_SLUGS
from tias_judge_model.data.manifest import ManifestRecord

logger = logging.getLogger(__name__)


@dataclass(frozen=True)
class SplitResult:
    """単一分割(train / val / test)の結果.

    各フィールドは患者 ID の昇順タプル.`runs/` への保存はサーバ上でのみ行うこと
    (患者 ID を含むため回収対象外.SPEC_01「回収ホワイトリスト」).

    Attributes:
        train: train に属する患者 ID.
        val: val に属する患者 ID.
        test: test に属する患者 ID.
    """

    train: tuple[str, ...]
    val: tuple[str, ...]
    test: tuple[str, ...]

    def to_dict(self) -> dict[str, list[str]]:
        """保存用に `{"train": [...], "val": [...], "test": [...]}` を返す."""
        return {"train": list(self.train), "val": list(self.val), "test": list(self.test)}


@dataclass(frozen=True)
class Fold:
    """K-fold 交差検証の 1 fold.

    Attributes:
        index: fold 番号(0 始まり).
        train: 学習に使う患者 ID(昇順).
        held_out: この fold で評価に使う患者 ID(昇順).
    """

    index: int
    train: tuple[str, ...]
    held_out: tuple[str, ...]

    def to_dict(self) -> dict[str, int | list[str]]:
        """保存用に `{"index": i, "train": [...], "held_out": [...]}` を返す."""
        return {"index": self.index, "train": list(self.train), "held_out": list(self.held_out)}


def patient_labels(records: Iterable[ManifestRecord]) -> dict[str, str]:
    """患者 ID → label の対応を作る.

    Args:
        records: manifest レコード.

    Returns:
        患者 ID をキー,label を値とする辞書.

    Raises:
        ValueError: 同一患者に異なる label が付いている場合.
    """
    mapping: dict[str, str] = {}
    for r in records:
        existing = mapping.setdefault(r.patient_id, r.label)
        if existing != r.label:
            raise ValueError("同一患者に異なる label が付いている(manifest の検証を通すこと)")
    return mapping


def split_train_val_test(
    records: Sequence[ManifestRecord], val_ratio: float, test_ratio: float, seed: int
) -> SplitResult:
    """患者単位・クラス層化で train / val / test に分割する.

    クラスごとに患者 ID を昇順に並べてから seed で並べ替え,先頭から test・val を
    `round(患者数 × 比率)` 人ずつ取り,残りを train とする.同じ入力と seed なら
    入力レコードの順序によらず同じ結果になる.

    Args:
        records: manifest レコード(検証済み).
        val_ratio: val の比率(0 より大きく 1 未満).
        test_ratio: test の比率(0 より大きく 1 未満).
        seed: 乱数 seed.

    Returns:
        分割結果.

    Raises:
        ValueError: 比率が不正,レコードが空,同一患者に異なる label がある,
            またはあるクラスで train に患者が残らない場合.
    """
    if not (0.0 < val_ratio < 1.0 and 0.0 < test_ratio < 1.0 and val_ratio + test_ratio < 1.0):
        raise ValueError(
            f"分割比率が不正である(val_ratio={val_ratio}, test_ratio={test_ratio})."
            "それぞれ 0 より大きく,合計が 1 未満であること"
        )
    by_class = _patients_by_class(records)
    rng = np.random.default_rng(seed)

    train: list[str] = []
    val: list[str] = []
    test: list[str] = []
    for label in CLASS_SLUGS:
        patients = by_class.get(label)
        if not patients:
            continue
        shuffled = [patients[i] for i in rng.permutation(len(patients))]
        n_test = _round_half_up(len(patients) * test_ratio)
        n_val = _round_half_up(len(patients) * val_ratio)
        if n_test + n_val >= len(patients):
            raise ValueError(
                f"クラス {label} の患者 {len(patients)} 人では train に患者が残らない"
                f"(val {n_val} 人・test {n_test} 人)"
            )
        if n_test == 0 or n_val == 0:
            logger.warning(
                "クラス %s は患者 %d 人のため val %d 人・test %d 人になった",
                label,
                len(patients),
                n_val,
                n_test,
            )
        test.extend(shuffled[:n_test])
        val.extend(shuffled[n_test : n_test + n_val])
        train.extend(shuffled[n_test + n_val :])

    result = SplitResult(
        train=tuple(sorted(train)), val=tuple(sorted(val)), test=tuple(sorted(test))
    )
    logger.info(
        "単一分割(seed=%d): 患者 train %d・val %d・test %d",
        seed,
        len(result.train),
        len(result.val),
        len(result.test),
    )
    return result


def make_kfold_splits(records: Sequence[ManifestRecord], n_folds: int, seed: int) -> list[Fold]:
    """患者単位・クラス層化の K-fold 交差検証の分割を作る.

    患者の一覧(患者 ID 昇順)を label で層化して `StratifiedKFold` にかける.
    各患者はちょうど 1 つの fold の `held_out` に入る.

    Args:
        records: manifest レコード(検証済み).
        n_folds: fold 数(2 以上).
        seed: 乱数 seed.

    Returns:
        fold のリスト(長さ `n_folds`).

    Raises:
        ValueError: fold 数が不正,レコードが空,同一患者に異なる label がある,
            またはあるクラスの患者数が fold 数より少ない場合.
    """
    if n_folds < 2:
        raise ValueError(f"fold 数は 2 以上でなければならない(現在 {n_folds})")
    by_class = _patients_by_class(records)
    for label, patients in by_class.items():
        # 患者数が fold 数未満のクラスは,held_out に現れない fold ができ評価が歪むため止める.
        if len(patients) < n_folds:
            raise ValueError(
                f"クラス {label} の患者数 {len(patients)} 人が fold 数 {n_folds} より少ない"
            )

    labels_of = patient_labels(records)
    patient_ids = sorted(labels_of)
    y = np.array([labels_of[p] for p in patient_ids])
    splitter = StratifiedKFold(n_splits=n_folds, shuffle=True, random_state=seed)

    folds: list[Fold] = []
    for index, (train_idx, held_idx) in enumerate(splitter.split(np.zeros(len(y)), y)):
        folds.append(
            Fold(
                index=index,
                train=tuple(sorted(patient_ids[i] for i in train_idx)),
                held_out=tuple(sorted(patient_ids[i] for i in held_idx)),
            )
        )
    logger.info(
        "%d-fold 分割(seed=%d): held_out の患者数 %s",
        n_folds,
        seed,
        [len(f.held_out) for f in folds],
    )
    return folds


def select_records(
    records: Iterable[ManifestRecord], patient_ids: Collection[str]
) -> list[ManifestRecord]:
    """指定した患者のレコードだけを取り出す(入力の順序を保つ).

    Args:
        records: manifest レコード.
        patient_ids: 取り出す患者 ID.

    Returns:
        該当するレコード.
    """
    wanted = set(patient_ids)
    return [r for r in records if r.patient_id in wanted]


def count_by_class(records: Iterable[ManifestRecord]) -> dict[str, int]:
    """クラスごとの画像枚数を数える.

    Args:
        records: manifest レコード.

    Returns:
        クラス slug → 枚数(全クラスをクラス ID 順に含み,無いクラスは 0).
    """
    counts = Counter(r.label for r in records)
    return {label: counts.get(label, 0) for label in CLASS_SLUGS}


def count_by_class_severity(records: Iterable[ManifestRecord]) -> dict[tuple[str, str], int]:
    """(クラス, 程度) ごとの画像枚数を数える(分割後の severity の偏り確認用).

    Args:
        records: manifest レコード.

    Returns:
        (label, severity) → 枚数(出現した組み合わせのみ.クラス ID 順・程度名順).
    """
    counts = Counter((r.label, r.severity) for r in records)
    order = {label: i for i, label in enumerate(CLASS_SLUGS)}
    return dict(sorted(counts.items(), key=lambda kv: (order[kv[0][0]], kv[0][1])))


def _patients_by_class(records: Sequence[ManifestRecord]) -> dict[str, list[str]]:
    if not records:
        raise ValueError("分割対象のレコードが 0 件である")
    by_class: dict[str, list[str]] = {}
    for patient_id, label in patient_labels(records).items():
        if label not in CLASS_SLUGS:
            raise ValueError(f"未知の label がある: {label!r}(manifest の検証を通すこと)")
        by_class.setdefault(label, []).append(patient_id)
    # 入力順に依存させず決定的にするため,患者 ID でソートしておく.
    return {label: sorted(patients) for label, patients in by_class.items()}


def _round_half_up(value: float) -> int:
    # 組み込み round は偶数丸めで直感に反するため四捨五入を使う.
    return math.floor(value + 0.5)