高效神經網絡結構設計與壓縮

案例背景:
隨著基于深度神經網絡的計算機視覺技術落地拓廣，硬件的成本控制越來越嚴格，這對算法推理的性能、模型大小、資源占用、硬件適配等要求顯著提升，需要針對不同的硬件在模型結構上進行針對性設計以實現低成本硬件也能取得很好的算法效果。而傳統(tǒng)的網絡結構設計依賴于人工的調整，適配硬件的成本很高，這使得我們需要有更自動化的方案來進行高效神經網絡的結構設計。

解決思路:
針對上述問題，我們在模型壓縮和網絡結構搜索兩項技術上進行了探索和應用，通過量化、剪枝、蒸餾、nas等技術的綜合應用，實現了高效神經網絡結構的自動設計和訓練，相比原本的人工設計在效果、性能和時間成本上都有顯著的提升。

成果：
上述技術已經成功應用于百度計算機視覺的多項產品和業(yè)務，基本取代了人工設計網絡結構的傳統(tǒng)做法，幫助百度的多項AI公有云能力和軟硬結合產品實現行業(yè)效果領先。同時我們也對內和對外基于paddleslim進行技術的平臺化和開源，搭配paddlelite推理引擎可以在各類硬件部署上取得實際加速。