不利因素有以下几个方面：

情感依赖：有些丧偶的男人可能在经历伴侣离世后的情感空虚期时，寻求新的伴侣以填补内心的空白。这种情况下，他们可能不是出于对现任伴侣的爱情或承诺，而是出于其他原因，如生理需求或是情感寄托的需要。

孩子的影响：如果丧偶的男人与前妻育有孩子，那么再婚后可能需要面临如何平衡与继子女关系的问题。孩子们可能会因母亲的离去而产生情绪波动，而作为继父，男人需要在情感支持和经济责任上扮演双重角色。

财产问题：在婚姻中，确保财产分配公正是非常重要的。如果在婚前没有做好相应的财产公证，可能会导致未来的财产纠纷。

生活习惯差异：丧偶的男人可能与前妻有着共同的生活习惯和喜好，而这些习惯可能会影响他与现任伴侣的关系。如果双方在这些方面存在较大差异，可能会造成沟通障碍和生活冲突。

心理阴影：有些丧偶的男人可能会怀念逝去的伴侣，即使他们在新的关系中遇到了其他人。这种持续的心理怀念可能会影响他们对现任伴侣的感情，使得现任伴侣感到不被重视或不公平。