答案：装修公司最怕的单位是质量监督部门或消费者协会。

解释：

一、质量监督部门的影响

装修公司在进行装修工程时，必须遵循相关的质量标准和规定。质量监督部门负责监督装修工程的质量，确保其符合国家标准。如果装修公司出现偷工减料、使用劣质材料等问题，质量监督部门将会对其进行查处，并可能引发法律纠纷，对装修公司的声誉和业务产生负面影响。因此，可以说质量监督部门是装修公司的重要监管者，也是装修公司最害怕的单位之一。

二、消费者协会的监管作用

消费者协会是维护消费者权益的机构，代表消费者的利益进行维权。在装修过程中，如果消费者遇到装修质量问题、合同纠纷等，可以向消费者协会投诉。一旦消费者协会介入调查，并对装修公司提出质疑或批评，这将对公司的声誉造成直接影响，甚至可能引发法律诉讼。因此，装修公司对消费者协会的调查和反馈十分重视，甚至可以说是“害怕”。

三、装修公司的自律需求

除了外部监管，装修公司自身的自律也非常重要。为了避免被质量监督部门或消费者协会等单位查处或投诉，装修公司必须严格遵守行业规范，提供优质的装修服务。只有这样，才能赢得消费者的信任，保持业务的持续增长。

总的来说，装修公司最怕的单位是那些能够对其进行质量监管、维护消费者权益的单位，如质量监督部门和消费者协会等。这些单位的存在，促使装修公司不断提升服务质量，确保装修工程的顺利进行。