我个人认为责令拆除不能视为一种行政处罚。责令拆除是否属于行政处罚的争义来源于早期对行政处罚概念的模糊。所以在城乡规划法中作为一种行政处罚来立法。但随着行政处罚法和强制法的立法和完善。责令限拆已经明显不符合处罚法对行政处罚的定义，即额外课以义务或减损其合法权益。
以违法建筑的建筑材料是合法财产来作为减损权益的依据来将其定性为行政处罚也是说不通的。原因在于拆除违建的本质是“恢复原状”和“停止违法行为消除违法后果”，属于民法典规定对他人或公共权益的侵犯后进行的补偿，赔偿和停止侵权的法定义务。好比乱倒垃圾危害环境后责令当事人清理治理，不能说因为清理垃圾要产生费用损害当事人权益所以清理垃圾，停止侵害环境变成了一种行政处罚。

拆除违建过程中，对构成违建建材的破坏是一种必要的改正损耗，好比清理垃圾要消耗人工和汽柴油。如果要求拆除过程中保护建材完好，则消耗的人工价可能比建材本身更昂贵，故破坏性拆除对违建责任人来说是一种节省成本的理性决策，而不会额外增加其成本和义务