Newer
Older
RobotCar / docs / 03_TECH / TECH_06_十字路分類モデル評価.txt
========================================================================
十字路分類モデル評価 (Intersection Classifier Evaluation)
========================================================================


1. 概要 (Overview)
------------------------------------------------------------------------

    1-0. 目的

    十字路(intersection)と通常区間(normal)を分類する
    二値画像分類モデルの比較評価結果を記録する.

    1-1. 評価日時

    ・実施日時: 2026-03-26 00:17

    1-2. データセット

    ・入力: 40×30 二値画像(1200 特徴量,0.0/1.0)
    ・全サンプル数: 633
        - intersection: 127
        - normal: 506
    ・クラス比率: intersection:normal = 127:506


2. 評価方法 (Evaluation Method)
------------------------------------------------------------------------

    2-1. 交差検証

    ・手法: Stratified 5-Fold Cross-Validation
    ・指標: マクロ平均 F1 スコア
    ・前処理: StandardScaler(fold ごとに fit)
    ・乱数シード: 42


3. 評価結果 (Results)
------------------------------------------------------------------------

    3-1. モデル比較(F1 スコア降順)

    モデル                            F1(平均)        F1(標準偏差)
    ───────────────────────────────────────────────────────
    SVM_RBF                        0.9745          0.0186 ← 採用
    MLP_2layer                     0.9665          0.0272
    MLP_1layer                     0.9609          0.0307
    RandomForest                   0.9356          0.0400
    LogisticRegression             0.9096          0.0197
    SVM_Linear                     0.9067          0.0223

    3-2. 各 Fold の F1 スコア

    ・SVM_RBF: [0.9881, 0.9632, 1.0000, 0.9743, 0.9468]
    ・MLP_2layer: [0.9758, 0.9368, 1.0000, 0.9873, 0.9324]
    ・MLP_1layer: [0.9632, 0.9368, 1.0000, 0.9873, 0.9174]
    ・RandomForest: [0.9758, 0.9486, 0.8740, 0.9743, 0.9053]
    ・LogisticRegression: [0.8972, 0.8938, 0.9325, 0.9346, 0.8899]
    ・SVM_Linear: [0.8825, 0.8938, 0.9325, 0.9346, 0.8899]

    3-3. 採用モデル

    ・モデル: SVM_RBF
    ・保存先: params/intersection_model.pkl
    ・スケーラ: params/intersection_scaler.pkl

    3-4. 全データでの分類レポート(再学習後)

                      precision    recall  f1-score   support
        
              normal       1.00      1.00      1.00       506
        intersection       1.00      0.99      1.00       127
        
            accuracy                           1.00       633
           macro avg       1.00      1.00      1.00       633
        weighted avg       1.00      1.00      1.00       633