公元258年，东吴景帝孙休创立国学，设立太学博士制度，设立五经博士，为建业太学的初创阶段。

晋武帝司马炎统一后，建业太学经历中断。西晋末年（313年），因避晋愍帝司马邺之讳，建邺县改名建康县。晋室南渡后，307年在建邺建立东晋王朝的建康太学，位于鸡笼山下。

建康太学历经宋、齐、梁、陈各朝，刘宋元嘉十五年（438），宋文帝召雷次宗至京师，进一步发展教育。祖冲之在刘宋时期，凭借卓越的科学贡献，尤其是圆周率的研究，使建康成为当时世界领先的数学中心。

隋朝时期，建康城遭到严重破坏，建康太学也随之中断。隋朝改丹阳郡为蒋州，对江南地方势力实行抑制政策。唐朝延续这种政策，金陵城市建设发展受限。唐末至五代十国，金陵再次成为南唐都城，南唐金陵太学设立于其中。

宋太宗后，南唐被灭，江宁府改为异州，后改为江宁府，直至南宋和元朝，建康都沿用此名。元朝时，建康设立宣抚司，后改为集庆路。朱元璋攻占后，将集庆路改为应天府，开始了明南京城的建设。

明成祖迁都后，明南京国子监被称为南雍，其位于鸡笼山下，孕育了《永乐大典》这部百科全书。1650年，南雍改称清江宁府学，1902年在此基础上建立了三江师范学堂，成为南京教育历史的重要节点。