在钢厂环境、双向行驶的机车上，于无人值守、恶劣光照、外部配合受限的条件下，可靠地防止在停止信号显示下起步。本汇报分两部分：当前难点问题的逐项剖析，与整体技术解决方案。
十二个已识别的关键问题，按成像颜色、归属线路、座舱感知、工程数据四类组织。其中两项标记为待验证——它们是本项目真实的技术风险所在，其余问题均已有确定对策。
大部分表面上的"识别不准"，根源不在算法。看清问题的真实性质，是整套方案成立的前提。
信号灯过曝时，红色通道饱和溢出、绿色通道被抬升——红灯呈现为黄色；蓝灯同理偏向青绿。那一刻像素里已不存在正确的颜色信息，任何算法都无法还原。病在成像端，须在成像端治。
多轨汇集处，归属取决于车辆所在股道与前方道岔开向——这些信息不在信号灯画面里。提高识别精度永远解决不了归属问题，必须转换求解方式。
最主要的作业时刻车辆是静止的：可多帧合成、从容调曝光、无运动模糊与时限约束、归属最简单。运动模糊、远距小目标、实时性等一大批难题，在主场景中天然缓解。
其余十个问题的对策路径明确，属工程实施；下面两项须以实测数据确认可行性——它们决定了方案中信号与语音两条线各自的能力上限，也是建议"可行性验证先行"的原因。
发光信号灯亮度极高，摄像头一旦过曝，颜色信息在像素层面即已丢失——这是"红变黄、蓝变绿"的物理根源，与算法无关。
语音被确定为意图识别的主通道——依据是铁路"呼唤应答"作业制度：驾驶员在发车等关键节点本就口呼所见信号与操作意图，口令为固定小词汇集。
在多股道汇集的咽喉区，前方视野内同时出现多架信号机。"哪架管辖本轨"取决于车辆当前所在股道与前方道岔的开向——这两个信息都不在信号灯的图像里。把识别精度提高到 100%，系统依然不知道该看哪一盏。
当前该判断完全依赖驾驶员的驾驶经验——这恰恰提示了正确解法。
驾驶员的呼唤应答口令本身携带归属与意图，其经验替系统完成了归属判断；口令称通行而对应方位为停止信号，即为最高价值的告警。系统不承诺确定性归属，只做交叉核对。
一台自包含的车载感知主机：装上车、接上电即可运行，不依赖需求方任何系统。先作采集设备积累数据，再逐里程碑开启功能——核心交付是发车防护。
不接车辆控制信号、不装轨旁设施、不等资料台账。运动与方向由加速度计 + 卫星定位 + 画面光流自行导出；信号台账、口令词表、颜色标定全部从自采数据建立。
硬件先以采集模式上车，被动录制数周跨天气数据；以驾驶员行为（停驻—等待—起步）作间接标注依据，为图像与音频打标。
主场景车辆静止：颜色、振动、实时性、归属全面简化。先攻克低风险高价值的发车防护，行进模式在其成熟后扩展。
信号识别只建一条管线：发车模式（静止、门限严）与行进模式（连续、门限放宽、更多"未识别"与保守提醒），不做两套系统。
所有感知源产出统一格式的带时间戳"证据"，由唯一的融合判定模块统一消费、施加错误预算后输出提醒；录制、回放、上报调度室均为同一通道的支路。
RK3588 级工业主机拉取既有海康视频流承担舱内与车周任务；专用信号相机（两端各一路）独立承担颜色关键的信号判读；加速度计、卫星定位与麦克风由主机直接采集。
融合判定模块是全系统唯一的提醒出口：消费全部证据、施加错误预算、输出提醒 / 未识别 / 事件记录。
单向发送、不等待回应；调度室离线不影响车上任何实时功能。车载自主是硬性原则。
硬件看门狗 + 进程守护 + 崩溃自恢复 + 掉流/掉相机的显性降级与记录，杜绝静默失效。
监控相机的自动曝光按整幅画面优化、输出为压缩视频——两者都不利于小目标颜色；将其改为信号专用配置又会破坏查看车周的本职。故信号颜色判读由开发方独占控光的专用相机承担。
训练检测器全画面搜索，覆盖全部安装形态——绿色植被并非壳体，从源头排除。
灯位优先（各灯位颜色固定，对偏色免疫）；判亮依据 = 高亮 + 高饱和 + 紧凑近圆。
压曝光防饱和 → 红外截止 → 现场标定分类器 → 曝光跨过调光周期防频闪漏检。
多帧投票、跟踪，多帧一致才采信，抑制单帧抖动。
读不准 → 输出"未识别"。声明不确定属正确行为，不计入错误。
车停 → 停留期间从容读准信号 → 检测到发车（加速度计"由静转动"或发车口令，均自行导出、不接车辆接口）→ 核对信号：停止显示而起步，立即报警。
依据行驶方向与座位占用，选定当前车头端的信号相机、在岗驾驶位的舱内相机与麦克风——双向行驶下贯穿三项功能的公共机制。
语音口令 = 驾驶员声明的意图与归属；视觉 = 实际信号显示；车辆运动 = 客观事实。三者交叉核对，不一致即告警。
舱内姿态识别一条管线服务两项功能：疲劳（低头·点头·瘫坐，对安全帽混戴稳健）持续运行，手势作口令的辅助确认。
驾驶员呼唤应答口令携带归属与意图；系统核对口令与摄像头所见是否一致。这是唯一不依赖任何基础设施、在内线与外线均成立的手段。
内线：轨旁 RFID 标签 + 岔口测绘查表确定当前股道（厂内卫星定位信号差）；外线：RTK 高精度卫星定位 + 自测轨道地图（开阔、不可施工但可观测）。与口令互相印证。
无法判定时，呈现视野内全部信号及其方位，给出保守提醒（"前方岔口存在停止信号，请确认进路"），最终判断交还驾驶员。
外部配合受限的应对：全源（专用相机原始格式 · 舱内两路 · 音频 · 运动 · 定位）同步落盘，事件段加长保留；跨天气 × 昼夜 × 多驾驶员 × 内外线积累，以驾驶员行为作间接标注依据。
| 待标注对象 | 间接标注来源 |
|---|---|
| 信号显示真值 | 运动分段"停于信号前 → 等待 → 起步"：起步时刻信号大概率为允许，长时间停驻大概率为停止 |
| 口令词表 | 围绕发车事件聚类音频，提取驾驶员复现的短语 |
| 信号—股道归属 | 驾驶员口呼与行为同视野内信号的对应关系 |
| 颜色标定 | 对真实各色信号实拍，建立本相机颜色映射 / 训练分类器 |
| 停车点与线路边界 | 定位数据停驻聚类 + 厂区边界地理围栏 |
排序原则：外部依赖最小、快出成果、待验证风险最先落定。数据需求小的功能先交付，依赖长期数据积累的随数据成熟推进。
全源同步录制 / 回放，看门狗自愈；开始被动积累数据——一切后续工作的前提。
姿态法，复用既有舱内视频流，最快形成可见成果。
停 / 动 / 方向 / 在岗座位；发车事件触发——全系统的时序基准。
检测 → 判读 + 颜色标定；发车静止场景下颜色难度显著降低。
M2 + M3 联动：停止显示而起步 → 报警。
词表自建的离线关键词识别 + 口令一致性核对（同时是归属主干）。
同管线连续运行的行进中提醒，门限放宽，在 M4 成熟后扩展。
真实环境运行，按错误预算调整门限，完成验收度量。
基于试点数据规划。
系统不操纵车辆，单次错误不直接致祸；真正的失效模式是告警疲劳——误提醒过频将导致系统被忽略乃至关闭。单一准确率会掩盖最危险的一类错误。
误提醒危险（误喊停）。驾驶员看一眼实况即可排除，代价是打扰与信任消耗。
误提醒安全（把停止判为允许，尤以蓝绿混淆为甚）。会削弱驾驶员警觉，是最不该出现的一类。
读不准时主动声明"未识别"属正确行为，不硬猜、不误导。