违章建筑的认定主要由城乡规划主管部门负责，这类建筑往往违规，如侵占安全通道、非法占用耕地、影响城市空间布局、破坏生态环境等。依据《国有土地上房屋征收与补偿条例》第二十四条，市、县级人民政府及其相关部门应依法监管建筑活动，对违反城乡规划的建筑依法处理。在做出房屋征收决定前，需组织相关部门对征收范围内的未登记建筑进行调查、认定和处理。合法建筑和未超过批准期限的临时建筑，应给予补偿；而违法建筑和超过批准期限的临时建筑，则不予补偿。

具体到《城乡规划法》第六十五条规定，在乡、村庄规划区内未依法取得乡村建设规划许可证或未按许可证规定进行建设的，乡、镇人民政府有权责令停止建设、限期改正，逾期不改正的，可依法拆除。这说明在农村地区，违章建筑的认定和处理主要由乡、镇人民政府执行。

综上所述，违章建筑的认定和处理涉及到城乡规划、土地征收补偿、以及乡村建设规划等多个层面。不同地区、不同类型的违章建筑，其处理方式也存在差异。总的来说，城乡规划主管部门在违章建筑的认定中扮演着核心角色，同时，地方政府及其相关部门的监管、处理也至关重要。