1981年，郑州动物园的建设列入计划，并已选址完成。在当时，郑州紫荆山公园、郑州碧沙岗公园、郑州人民公园3个公园，门票只要5分钱，且早上8时以前进门不收费；各个公园在不同季节会推出主打花卉，但共同点是在某个角落必定会圈养一批小动物，或是天鹅，或是鸳鸯……相当于一个小型的动物园，但都不成体系。

1984年8—9月，郑州市城建局组织了一批设计人员，和动物园筹建处的人一起到西安、北京、石家庄等地考察。之后，郑州市当时较有名气的几位工程师，特意为动物园设计了几套方案；最终，根据郑州市的经济、土地情况确定了一套方案。这年冬天，动物园正式开建。

1984年年末，动物园初具规模。随后，郑州市3大公园里所有的动物以及饲养人员均被集中到这里。动物园终于有了50余只动物。

1985年初，动物园以十万元买下北京动物园自行繁育的大猩猩幼崽“尼寇”。后来从四川租了一头大熊猫。10月1日，郑州市动物园正式开园。开园当天，两堵砖墙之间略显寒酸的大门外，人海如潮。门外拥挤的人潮使得收取门票仅持续了不足半小时。为担心发生踩踏事件，决定停止售票，开门放游客进园。

1992年，对园内摊点进行了统一规划。

2007年2月，门票涨至16元，因涨幅过大违反有关规定引起争议。10月，租展的熊猫嘟嘟来园。

2009年5月，动物园耗资数百万修建大门，引起争议。

2010年4月，郑州动物园老职工动用狮子、老虎、鸸鹋、大耳羊等动物占地，向河南省体育局索要1984年借用的动物园的土地，两单位进而引起肢体冲突。

2010年国庆期间，郑州动物园“小动物村”开门迎客。