为什么需要车载AI大模型
传统的车载AI（如语音识别、手势识别）是基于小模型的，能力有限。大模型的优势：
- 多模态理解：同时理解语音、图像、文本
- 上下文记忆：多轮对话不丢失上下文
- 零样本能力：不需要针对每个任务重新训练
部署挑战
1. 算力约束
- 云端大模型：A100/H100，算力1000+ TOPS
- 车端座舱SoC：算力约30-100 TOPS
- 结论：无法直接部署云端模型，必须压缩
2. 功耗约束
- 座舱SoC功耗预算：15-30W
- 大模型推理功耗：可能超过50W
- 结论：必须做推理优化，否则影响续航
3. 延迟约束
- 语音助手响应时间要求：<500ms
- 大模型推理延迟：可能超过2秒
- 结论：必须做推理加速
模型压缩技术
量化（Quantization）
- FP32 → INT8：模型大小减少75%，精度损失约1-2%
- FP32 → INT4：模型大小减少87.5%，精度损失约3-5%
- 工具：TensorRT、ONNX Runtime、Qualcomm AI Stack
知识蒸馏（Knowledge Distillation）
- 用大模型（教师）指导小模型（学生）训练
- 学生模型可以达到教师模型90-95%的性能，但模型大小仅为1/10
剪枝（Pruning）
- 去掉不重要的权重（权重接近0的）
- 结构化剪枝：去掉整个神经元或层，硬件友好
端侧推理框架
- TensorRT：NVIDIA生态，性能最好
- ONNX Runtime：跨平台，支持多种硬件
- Qualcomm AI Stack：高通生态，骁龙座舱标配
- 华为CANN：华为MDC生态
量产案例
- 特斯拉：FSD芯片上运行Transformer模型（端到端）
- 蔚来：NOMI GPT运行在座舱8295芯片上
- 理想：Mind GPT运行在双Orin-X上