历史上，明朝神宗第七子朱常瀛被封为衡州的第一任桂王，于天启七年九月廿六在今衡阳就藩。他的王府位于衡阳市人民路东端，但他在弘光元年病逝于梧州，其后由其子朱由楥和朱由榔相继成为桂王，其中朱由榔即南永历帝，最终在吴三桂的杀害下结束桂王地位。崇祯十六年，张献忠攻陷衡阳，朱常瀛携子逃往梧州，第二年在梧州病逝，谥号桂恭王。

朱由榔撤离衡州后，衡州成为大西军进攻的重点。朱常瀛曾令驻守湖南的刘熙祚集结兵力固守衡州，与张献忠的起义军展开激战。然而，面对张献忠的勇猛进攻，桂王朱常瀛病重，王府面临困境。最终，朱由榔在父兄病重的情况下，下令撤离衡州，刘熙祚战死，永明王朱由榔被俘，大西军占领永州。

朱由榔被俘后，大西军将领们讨论未来，张献忠决定西进四川，留下李定国等人守湖南。朱由榔得以逃脱，但身体状况恶化，最终在梧州病逝。他的儿子朱由榔成为第三任桂王，然而命运多舛，不久后也病逝，桂王之位由他的弟弟朱由榔继承。这段历史中，衡州见证了明朝末年的动荡与桂王家族的兴衰。