违法建筑在任何时间点都可以被拆除，不存在过了几年就不能拆除的情况。根据《中华人民共和国城乡规划法》第六十五条，无论在城镇还是乡村规划区内，未经许可或未按许可规定建设的建筑，都将受到责令停建和改正的处罚。如果逾期不改正，依法可予以拆除。

在违法建筑的强制拆除过程中，需要遵循一定的法律程序：

1. 催告阶段：如果被征收人在规定期限内既未申请复议也未提起诉讼，也未搬迁腾房，那么征收方应当发出催告书，要求被征收人履行征收补偿决定。

2. 强制执行阶段：如果被征收人在催告书送达后10个工作日内仍未履行相关义务，征收方可以向法院申请强制执行。即便如此，征收方也不能未经法律程序擅自进行强拆。

总之，违法建筑的拆除不受时间限制，但拆除过程必须依法进行，确保被征收人的合法权益得到尊重和保护。