Optimization of DNN-based HSI Segmentation FPGA-based SoC for ADS: A Practical Approach
Jon Gutiérrez-Zaballa, Koldo Basterretxea, Javier Echanobe
使用HSI进行自主导航是一个有前景的研究领域，旨在提高基于视觉传感器的检测、跟踪和场景理解系统的准确性和鲁棒性。将DNN等先进计算机算法与小型快照HSI相机相结合，增强了这些系统的可靠性。HSI克服了灰度和RGB成像在描述目标物理特性(特别是光谱反射率和同色异谱)方面的固有局限性。尽管基于HSI的视觉开发取得了有希望的成果，但像ADS这样的安全关键系统对延迟、资源消耗和安全性有严格要求，这促使将机器学习工作负载转移到边缘平台。这需要彻底的软硬件协同设计方案，以在计算平台的有限资源中高效分配和优化任务。就推理而言，DNN的过参数化特性给实时边缘部署带来了重大计算挑战。此外，HSI所需的大量数据预处理(经常被忽视)必须在内存安排和任务间通信方面仔细管理，以实现SoC上的高效集成流水线设计。本工作提出了一套优化技术，用于实际协同设计部署在面向ADS的FPGA SoC上的基于DNN的HSI分割处理器，包括关键优化如功能性软硬件任务分配、硬件感知预处理、ML模型压缩和完整的流水线部署。应用的压缩技术将设计的DNN复杂度显著降低至24.34
The use of HSI for autonomous navigation is a promising research field aimed at improving the accuracy and robustness of detection, tracking, and scene understanding systems based on vision sensors. Combining advanced computer algorithms, such as DNNs, with small-size snapshot HSI cameras enhances the reliability of these systems. HSI overcomes intrinsic limitations of greyscale and RGB imaging in depicting physical properties of targets, particularly regarding spectral reflectance and metameris...