座舱领域相关视觉数据集

最近工作中需要一些智能座舱相关的视觉数据，用于验证端侧 VL 模型量化后的视觉能力。

分类

图像 OCR 与文本理解

如果关注仪表盘上的数字（速度、转速）和图标文字读取，这些是目前最具参考价值的基准：

• OCRBench:
  • 特点： 目前最流行的 OCR 综合能力评测集。它包含单纯的字符识别，也包含文本相关的推理和数学公式识别。
  • 用途： 测试模型是否真的看懂了文字，而不仅仅是把字读出来。对于测试量化后的模型是否会把 “8” 误读为 “6” 非常敏感。
• TextVQA / DocVQA:
  • 特点： 经典的视觉问答数据集，要求模型在图像中寻找文本证据来回答问题。
  • 用途： 评估模型在复杂背景下提取特定信息的能力。
• MathVista:
  • 特点： 包含大量图表、仪器读数和几何图形。
  • 用途： 虽然名为数学，但它非常适合测试模型读取仪表读数的能力（例如读取圆盘上的指针位置）。

视频理解与视频 OCR

针对视频中的动态文字识别：

• Video-MME:
  • 特点： 谷歌和国内团队都在用的视频多模态评测基准，涵盖短视频到长电影。它考察时间序列上的理解。
• MVBench (Multi-Granularity Video Benchmark):
  • 特点： 专门测试视频的细粒度理解，比如动作发生的具体时刻、物体移动轨迹等。
• LSVTD (Large-Scale Video Text Detection) / TextVR:
  • 特点： 专门针对视频中的文本（Video Text）进行检测和识别的数据集。如果需要识别行车记录仪视频中的路牌或动态变化的仪表数字，这是最对口的。

综合推理（通用大模型排行依据）

• MMMU: 包含跨学科（医学、工程、艺术）的复杂推理，是目前衡量模型智商的主流标准。
• MMBench: 腾讯 AI Lab 提出，主要通过选择题形式通过 Circular Evaluation 避免模型猜答案。

仪表盘图标与警告灯

Roboflow Universe - Car Dashboard Icons:

• 内容： Roboflow 社区托管的多个数据集，包含数千张标注好的仪表盘警告灯（如发动机故障、胎压低、ABS 等）。
• 用途： 训练和测试模型对特定图标（Icon）的识别率。这是目前公开渠道能找到的最集中的仪表类数据。
• 关键词搜索： 在 Roboflow Universe 搜 dashboard warning lights 或 instrument cluster。

驾驶员视角与内部监控

大多数自动驾驶数据集（如 BDD100K, KITTI）是看车外的。看车内（包含仪表盘视角）的数据集主要来自驾驶员监控系统（DMS）研究：

• VIVID (Vehicle Interior Video Dataset):
  • 虽然侧重于驾驶员动作，但部分视角包含中控台和仪表区域。
• LISA Traffic Light Dataset:
  • 虽然主要是红绿灯，但 LISA 系列（UCSD）包含大量车载摄像头的原始视频，有时会被用来做仪表盘区域的截取实验。

下载

1 通用标准基准

1. OCRBench

   • 费用： 免费 (Apache-2.0 或 MIT 协议)
   • 链接： GitHub - OCRBench 或 Hugging Face - OCRBench
   • 注意： 如果从 Hugging Face 下载，它通常已经整理好了 JSON 格式，非常适合直接跑脚本评估。

2. TextVQA / DocVQA

   • 费用： 免费（需遵守 Research Only 协议）
   • 链接：
     • TextVQA: 官网下载页
     • DocVQA: 官网 (rrc.cvc.uab.es) (需要注册一个账号才能下载，因为它是 ICDAR 竞赛的数据集)

3. MathVista (仪表读数相关)

   • 费用： 免费 (CC BY-SA 4.0 协议)
   • 链接： 项目官网 | Hugging Face 数据集
   • 用途： 建议下载 testmini 子集（约1000条），足够快速验证模型量化后的精度损失。

4. Video-MME / MVBench (视频类)

   • 费用： 免费
   • Video-MME 链接： GitHub 仓库 (数据在 Hugging Face 上)
   • MVBench 链接： GitHub - OpenGVLab (在 Evaluation 部分找 MVBench)

5. LSVTD (视频文本)

   • 费用： 免费（仅限非商业研究）
   • 链接： GitHub 仓库（通常在 Davar-Lab 的项目中）或者 ICDAR 竞赛官网。
   • 提示： 这个数据集比较老，链接有时会失效。如果找不到，可以用 TextVR 代替。

---

2 汽车仪表类

这些数据主要托管在 Roboflow Universe 上。这是一个计算机视觉社区，用户上传并公开标注好的数据。

1. Roboflow - Dashboard Icons (仪表盘图标)

   • 费用： 免费（通常是 CC BY 4.0 协议，开放使用）
   • 链接： Roboflow Universe - Car Dashboard Icons
     • 如何下载：
       1. 注册一个免费的 Roboflow 账号。
       2. 点击看中的数据集（比如标有 “Car Dashboard Dataset” 且图片数较多的）。
       3. 点击右上角的 “Download Dataset”。
       4. 关键步骤： 选择导出格式为 “COCO” 或 “YOLOv8”。

2. LISA Traffic Light / Signs (相关驾驶场景)

   • 费用： 免费（用于研究）
   • 链接： Kaggle 镜像版 或 UCSD 官网
   • 注意： 官网下载速度可能较慢，建议优先去 Kaggle 找镜像。