基于機器視覺的表面缺陷檢測是未來研究和發展的主要方向，目前在基于機器視覺的表面缺陷檢測理論研究和實際應用等環節取得了可喜的成果，但仍存在以下主要問題和難點：
1 )受環境、光照、生產技術和噪聲等多重因素的影響，檢測系統信噪比普遍較低，微弱信號難以檢測或無法有效區分為噪聲。 如何建立穩定、可靠、穩健的檢測系統來應對光照變化、噪聲和其他外界惡劣環境的干擾，是需要解決的問題之一。
2 )由于檢測對象多樣、表面缺陷種類多、形態多樣、背景復雜，許多缺陷類型的產生機制與其外在表現形式關系不明確，缺陷描述不充分，缺陷特征提取有效性不高，缺陷目標分割困難； 同時，很難找到“標準”圖像作為參考，給缺陷的檢測和分類帶來了困難，識別率有待提高。
3 )機器視覺表面缺陷檢測尤其是在線檢測，以數據量大、冗余信息多、特征空間維度高為特點，同時考慮到機器視覺面臨的對象和問題的多樣性，缺乏從海量數據中提取有限缺陷信息的算法能力。
4 )與機器視覺表面檢測密切相關的人工智能理論得到了很大的發展，但如何模擬人腦的信息處理功能建立智能機器視覺系統還需要在理論上進一步研究，如何基于生物視覺識別更好地指導機器視覺的檢測也是研究者的難點之一。
5 )從機器視覺表面檢測的準確性方面來看，盡管不斷涌現出一系列優秀算法，但實際應用中的準確率仍與滿足實際應用的需要還有一定差距，如何處理正確識別與模糊特征之間、實時性與準確性之間的矛盾
隨著計算機技術、信息技術、電子技術、傳感器技術和仿生技術等的發展，機器視覺檢測方法也將得到迅速的發展。 根據技術和市場需求等因素，機器視覺表面缺陷檢測的發展趨勢如下
1 ) MARR理論對計算機視覺起著很大的作用，其核心是將視覺理解為3D重建的過程。 但是從3D場景到2D圖像是多對一的映射，在映射過程中深度信息會丟失； 灰度是對場景的唯一測定值，例如無法反映光、材料特性、方向和距離等信息； 如果圖像受到噪聲和環境等的影響，圖像會產生失真。 因此有必要研究視覺檢測的新理論和新方法，如主動視覺的發展、視覺系統智能學習能力的增強等。
