违章建筑是指未经批准、未按照规定程式、未经验收合格的建筑物。这种建筑物既影响城市的整体形象，也危及市民的安全。因此，相关部门必须对违章建筑进行认定，并采取相应措施。

1. 建设部门：建设部门是违规建设认定的主要部门。根据《城市房屋建筑和市政基础设施工程管理法》和《城市规划法》规定，建设部门具有审查建筑工程设计和施工许可证的职责。如果发现有违法建设行为，建设部门可以采取强制拆除或强制停工等行政措施。

2. 城市规划部门：城市规划部门是负责城市规划工作的部门。根据《城市规划法》，城市规划部门应当在城市规划设计、规划实施和城市综合治理等工作中，甄别和纠正各种规划违法行为，包括违章建筑。

3. 建筑监管部门：建筑监管部门是对建筑工程进行监控和检查的部门。根据《建筑法》和《工程建设项目安全生产管理规定》，建筑监管部门负责监管建筑工程施工行为。在施工过程中，如果发现有违章建筑行为，建筑监管部门可以采取强制停工等行政措施。

4. 城管执法部门：城管执法部门是维护城市环境和市容秩序的部门。根据《城市管理行政执法法》，城管执法部门可以对违章建筑进行查处，并采取强制拆除等措施。

总之，违章建筑认定需要多个部门的共同协作，建设部门、城市规划部门、建筑监管部门和城管执法部门等必须协同作战，共同维护城市的规范、安全和美好。