Fork: 0
hasegawa / SmTIAS-LightSim
Download ZIP 65 commits
Transfer to URL with SHA
SmTIAS-LightSim / docs / 05_TECH /
latest commit c0c512b886
@rintoHasegawa rintoHasegawa authored on 2 Jun
..
TECH_01_定量撮影モード要求仕様.md [add] TECH_03 MiniTIAS 実装報告取り込み・TECH_04 SmTIAS-LightSim 側回答 — MiniTIAS 側で定量モード Phase 1〜5 全完了，AQUOS sense3 が LEVEL_3 で DNG 経路第 1 優先採用，撮影設定: 1/60s + ISO 40 + AWB/NR/EDGE/AF/AE OFF + TONEMAP 線形 + BLACK_LEVEL_LOCK + SHADING_MODE=HIGH_QUALITY + STATISTICS_LENS_SHADING_MAP_MODE=ON，LSC マップ 13×17，保存ファイル MiniTIAS_QM_*.{dng,meta.json,preview.jpg} 3 種で meta.json に LSC マップ埋め込み．SHADING_MODE 判断: HIGH_QUALITY を本流維持（Mitsuba orthographic 出力 ≒ ISP 完璧補正後の理想値で HIGH_QUALITY DNG と直接比較が物理整合・OFF 切替は将来のフォールバック条件 C1-C3 発動時のみ）．Mitsuba 出力の物理解釈を正式に整理（生 Bayer 相当ではなく補正後相当）．露光/ISO 目安は 10-bit 中央値 500 前後 + p99 < 900．V1 連射再現性検証は MiniTIAS 側が連射 UI のみ実装し解析は SmTIAS-LightSim 側 sm-evaluate に統合．データ転送は adb pull 推奨（MTP 非推奨）．改善案優先度: 画素統計・Hot pixel map・連射 UI が高優先で同意．TECH_01 開放質問 Q1-Q7 を解決状況で更新．TECH_02 データ受け渡し節を実機実装に合わせ更新（meta.json 内 LSC マップ格納形式・adb pull・DNG/burst ファイル命名）．CLAUDE.md 開発進捗に MiniTIAS 側実装完了とハンドオフ往復完了を追記．次フェーズ: MiniTIAS 側は高優先 3 件追加実装，SmTIAS-LightSim 側は DNG/meta.json 読み込み I/F と再現性検証スクリプトを sm-evaluate に追加してキャリブ再開 4 months ago
TECH_02_MiniTIAS引き継ぎ手順.md [add] TECH_03 MiniTIAS 実装報告取り込み・TECH_04 SmTIAS-LightSim 側回答 — MiniTIAS 側で定量モード Phase 1〜5 全完了，AQUOS sense3 が LEVEL_3 で DNG 経路第 1 優先採用，撮影設定: 1/60s + ISO 40 + AWB/NR/EDGE/AF/AE OFF + TONEMAP 線形 + BLACK_LEVEL_LOCK + SHADING_MODE=HIGH_QUALITY + STATISTICS_LENS_SHADING_MAP_MODE=ON，LSC マップ 13×17，保存ファイル MiniTIAS_QM_*.{dng,meta.json,preview.jpg} 3 種で meta.json に LSC マップ埋め込み．SHADING_MODE 判断: HIGH_QUALITY を本流維持（Mitsuba orthographic 出力 ≒ ISP 完璧補正後の理想値で HIGH_QUALITY DNG と直接比較が物理整合・OFF 切替は将来のフォールバック条件 C1-C3 発動時のみ）．Mitsuba 出力の物理解釈を正式に整理（生 Bayer 相当ではなく補正後相当）．露光/ISO 目安は 10-bit 中央値 500 前後 + p99 < 900．V1 連射再現性検証は MiniTIAS 側が連射 UI のみ実装し解析は SmTIAS-LightSim 側 sm-evaluate に統合．データ転送は adb pull 推奨（MTP 非推奨）．改善案優先度: 画素統計・Hot pixel map・連射 UI が高優先で同意．TECH_01 開放質問 Q1-Q7 を解決状況で更新．TECH_02 データ受け渡し節を実機実装に合わせ更新（meta.json 内 LSC マップ格納形式・adb pull・DNG/burst ファイル命名）．CLAUDE.md 開発進捗に MiniTIAS 側実装完了とハンドオフ往復完了を追記．次フェーズ: MiniTIAS 側は高優先 3 件追加実装，SmTIAS-LightSim 側は DNG/meta.json 読み込み I/F と再現性検証スクリプトを sm-evaluate に追加してキャリブ再開 4 months ago
TECH_03_定量モード実装報告とSHADING_MODE相談.md [add] TECH_03 MiniTIAS 実装報告取り込み・TECH_04 SmTIAS-LightSim 側回答 — MiniTIAS 側で定量モード Phase 1〜5 全完了，AQUOS sense3 が LEVEL_3 で DNG 経路第 1 優先採用，撮影設定: 1/60s + ISO 40 + AWB/NR/EDGE/AF/AE OFF + TONEMAP 線形 + BLACK_LEVEL_LOCK + SHADING_MODE=HIGH_QUALITY + STATISTICS_LENS_SHADING_MAP_MODE=ON，LSC マップ 13×17，保存ファイル MiniTIAS_QM_*.{dng,meta.json,preview.jpg} 3 種で meta.json に LSC マップ埋め込み．SHADING_MODE 判断: HIGH_QUALITY を本流維持（Mitsuba orthographic 出力 ≒ ISP 完璧補正後の理想値で HIGH_QUALITY DNG と直接比較が物理整合・OFF 切替は将来のフォールバック条件 C1-C3 発動時のみ）．Mitsuba 出力の物理解釈を正式に整理（生 Bayer 相当ではなく補正後相当）．露光/ISO 目安は 10-bit 中央値 500 前後 + p99 < 900．V1 連射再現性検証は MiniTIAS 側が連射 UI のみ実装し解析は SmTIAS-LightSim 側 sm-evaluate に統合．データ転送は adb pull 推奨（MTP 非推奨）．改善案優先度: 画素統計・Hot pixel map・連射 UI が高優先で同意．TECH_01 開放質問 Q1-Q7 を解決状況で更新．TECH_02 データ受け渡し節を実機実装に合わせ更新（meta.json 内 LSC マップ格納形式・adb pull・DNG/burst ファイル命名）．CLAUDE.md 開発進捗に MiniTIAS 側実装完了とハンドオフ往復完了を追記．次フェーズ: MiniTIAS 側は高優先 3 件追加実装，SmTIAS-LightSim 側は DNG/meta.json 読み込み I/F と再現性検証スクリプトを sm-evaluate に追加してキャリブ再開 4 months ago
TECH_04_MiniTIASへの回答.md [update] TECH_04 を「フェーズ A/B 分割」に再構成 — 連射 UI 実装をフェーズ B に降格し，フェーズ A で 1 ショット撮影によるシミュ vs 実機対応検証を先行．方針根拠: 連射再現性が確保できてもシミュとの対応が取れなければ意味が薄い．フェーズ A で MiniTIAS 側に依頼するのは画素統計・Hot pixel map（高優先 2 件）と白板 1 ショット試し撮りのみ．SmTIAS-LightSim 側は DNG/meta.json/LSC マップ読み込み I/F と新規 baseline config を実装して 1 ショット突合．既存通常モード baseline 残差 2.1× が定量モードで変化するかを観察．フェーズ A 完了判定: 残差 ≤ 1.5× ならフェーズ B へ・残差変わらずなら SHADING_MODE フォールバック条件 C1 検討 or 物理モデル見直し・残差増ならパイプライン不整合をデバッグ．フェーズ B 着手はフェーズ A 完了後に判断．TECH_04 サマリ表・V1 検証分担セクション・改善案優先度・次フェーズ作業範囲を全部 A/B 二段階で再構成．CLAUDE.md にも反映．Step 8-13 として TEST_01 に記録予定 4 months ago
TECH_05_MiniTiasEvaluation_DNG対応要求仕様.md [add] MiniTias-Evaluation 引き継ぎ受領 (S1) — TECH_06 受領記録・TEST_05 PNG/DNG 評価比較・TEST_06 外乱光影響評価を新規取り込み．TECH_05 §4 を訂正 (apply_lsc_inverse → apply_lsc_forward)．5 つの重要発見: (1) DNG は LSC 未補正で逆ではなく順方向適用が正しい (TECH_05 §4 訂正済) (2) 過去 Step 8 残差 2.1× はドメイン不一致 — 正しい linear 比較では DNG linear+LSC 0.0689 vs シミュ linear 0.183 = 真の残差 2.66× (3) 新実機ターゲット MiniTIAS_QM_20260601_124500 暗闇撮影 CoV=0.0695 勾配=8.35% 中心/周辺=1.0911 動径 min/max=0.860 (4) 外乱光ロバスト確認: 室内灯 ON/OFF で指標差 < 1% (5) 新指標 calc_radial_min_max_ratio 追加．本 PR はドキュメント取り込みのみ (S1)．コード取り込み (S2: dng_loader.py コピー + 新指標マージ + rawpy 依存追加) と sm-evaluate DNG 対応 + Step 8-13 突合 (S3) は別 /implement パイプラインで実施．handoff_smtias_lightsim ディレクトリは context から書き起こし: PNG/CSV/meta.json バイナリは S3 段階で再取得が必要．CLAUDE.md 開発進捗に Phase 1 完了とハンドオフ受領・5 つの重要発見を追記 4 months ago
TECH_06_MiniTias-Evaluation引き継ぎ受領.md [add] MiniTias-Evaluation 引き継ぎ受領 (S1) — TECH_06 受領記録・TEST_05 PNG/DNG 評価比較・TEST_06 外乱光影響評価を新規取り込み．TECH_05 §4 を訂正 (apply_lsc_inverse → apply_lsc_forward)．5 つの重要発見: (1) DNG は LSC 未補正で逆ではなく順方向適用が正しい (TECH_05 §4 訂正済) (2) 過去 Step 8 残差 2.1× はドメイン不一致 — 正しい linear 比較では DNG linear+LSC 0.0689 vs シミュ linear 0.183 = 真の残差 2.66× (3) 新実機ターゲット MiniTIAS_QM_20260601_124500 暗闇撮影 CoV=0.0695 勾配=8.35% 中心/周辺=1.0911 動径 min/max=0.860 (4) 外乱光ロバスト確認: 室内灯 ON/OFF で指標差 < 1% (5) 新指標 calc_radial_min_max_ratio 追加．本 PR はドキュメント取り込みのみ (S1)．コード取り込み (S2: dng_loader.py コピー + 新指標マージ + rawpy 依存追加) と sm-evaluate DNG 対応 + Step 8-13 突合 (S3) は別 /implement パイプラインで実施．handoff_smtias_lightsim ディレクトリは context から書き起こし: PNG/CSV/meta.json バイナリは S3 段階で再取得が必要．CLAUDE.md 開発進捗に Phase 1 完了とハンドオフ受領・5 つの重要発見を追記 4 months ago
TECH_07_LSC取り扱い方針.md [add] TECH_07 LSC 取り扱い方針 + Step C' 新規 baseline config — 3 プロジェクト (MiniTias / MiniTias-Evaluation / SmTIAS-LightSim) における LSC 取り扱いの設計判断を一元化 docs/05_TECH/TECH_07 として明文化．結論: SmTIAS-LightSim はシミュ側で LSC を一切扱わない (Mitsuba orthographic が LSC 完璧補正後相当という物理的根拠)．3 プロジェクト役割分担を 1 表で明確化: MiniTias=SHADING_MODE=HIGH_QUALITY 撮影 + lscMap 保存 / MiniTias-Evaluation=lscMap 順方向適用で評価 / SmTIAS-LightSim=一切扱わない．検討した代替案 3 つすべて却下と理由を明文化: (A) シミュに LSC モデル化追加 → overfitting リスク + 実機側改善で目的達成済 / (B) perspective+thinlens で物理 cos⁴ → lscMap で割り戻すと結局 orthographic と等価で得るものなし / (C) ISP 補正残差を物理導出 → メーカー非公開で不可能．フォールバック条件 C1-C3 (SHADING_OFF 撮影) を TECH_04 から再掲．過去 TEST_03 「LSC モデル化が唯一の道」の前提変更 (当時は実機側を改善しない前提) を明示．過去 Step 8 残差 2.1× の解釈見直し (PNG sRGB ガンマ圧縮による楽観値，真の linear 比較では 2.66× 程度) を明記．Step C' として configs/eval_baseline_dng_target.yaml 新規作成 (eval_baseline_linear.yaml ベースで target_mean=207.82, metrics.radial_min_max=true，過去 Step 8-1〜8-12 評価 config 群と並列で Step 8-13 評価条件固定化)．動作確認で既存シミュ baseline (output/baseline/luminance.npy) を新 config で評価し，Step 8-13 数値が判明: シミュ CoV=0.1826 / 勾配=24.65% / 中心/周辺=1.3271 / 動径 min/max=0.6151．実機 DNG+LSC (CoV=0.0695 / 勾配=8.35% / C/P=1.0911 / 動径 min/max=0.860) と比較して残差 2.63× (TECH_06 で予想した 2.66× とほぼ一致．LSC 由来ではない別要因 = 物理モデル誤差等)．LSC 取り扱いは本コミットで決着，残差 2.63× は別問題として今後の課題に．handoff_smtias_lightsim/ ディレクトリは S3 全体完了 (Step 8-13 TEST_01 記録) 後に削除予定で本コミットには含めない．CLAUDE.md 進捗欄に Step C' 完了・Step 8-13 数値・TECH_07 への参照を追記 4 months ago
TECH_08_実機変更とシミュ側対応.md [add] TECH_08 実機変更とシミュ側対応の整合マッピング — 実機側 8 項目変更 (PNG→DNG / AWB OFF / AE OFF / ガンマなし / NR OFF / EDGE OFF / LSC 維持 / LSC 順方向適用) に対するシミュ側 3 層 (Mitsuba シーン定義 α / sm-render β / sm-evaluate γ) の対応をマッピングして対応漏れがないことを網羅的に確認．結論: シミュ側で実際に対応が必要だったのは sm-evaluate の config レベルでの OETF 無効化 (#4 ガンマ補正対応 = Step C' の eval_baseline_dng_target.yaml で OETF セクションを意図的に書かない形で実現) と mean アンカー調整 (#3 AE OFF への対応 = normalization.target_mean=207.82) の 2 項目のみ．他はすべて対応不要: AWB は Mitsuba per-channel 独立計算で概念なし，AE は露光時間概念なし (絶対値スケール調整は mean アンカーで吸収)，NR/EDGE は Mitsuba 計算に存在しない，LSC は orthographic で cos⁴ 自然対応 (TECH_07 参照)，量子化・ビット深度は Mitsuba float32 出力で発生しない．計 15 項目以上 (上記 8 + 追加チェック 7: CONTROL_MODE / SENSOR_FRAME_DURATION / BLACK_LEVEL_LOCK / COLOR_CORRECTION_GAINS / COLOR_CORRECTION_TRANSFORM / CONTROL_AF_MODE / CONTROL_VIDEO_STABILIZATION_MODE) で網羅チェックして対応漏れなしを確認．ガンマ補正対応の歴史的経緯 (Step 8-3 で OETF 順方向適用追加→Step 8-13 で OETF 無効化に切替) を詳述．動作確認根拠: Step C' で sm-evaluate を新 config で実行し OETF が適用されないこと・mean アンカー alpha=1.36257 で 152.52→207.82 に正しく揃うこと・radial_min_max=0.6151 が出力されること・既存 608 テスト全通過 (Step D 完了時) を確認．Step 8-13 残差 2.63× は ISP 関連の対応漏れではなくシミュ物理モデル誤差 (反射率精度・LED 配光モデル・メッシュ幾何精度等) が主因と推定．詳細切り分けは Step 8-14 以降の物理モデル精緻化として残す．CLAUDE.md 進捗欄に TECH_08 への参照と整合確認結果を追記．handoff_smtias_lightsim/ ディレクトリは S3 全体完了 (Step 8-13 TEST_01 記録) 後に削除予定で本コミットには含めない 4 months ago