国科大的研究生教育，发端于中国科学院的人才培养。1950 年，中国科学院启动研究实习员的招考和培养工作。1955年8月，《中国科学院研究生暂行条例》由周恩来总理签发后颁布实施。1964年9月，中国科学院在北京试办“中国科学院研究生院”。
1978年，恢复招生后的首批研究生入学。1982年，中国科学院党组批准研究生院同时使用“中国科学院研究生院”、“中国科学技术大学研究生院”两个名称。2000年12月，学校更名为中国科学院研究生院。2005年，中国科学院管理干部学院并入中国科学院研究生院。2012年6月，中国科学院研究生院更名为中国科学院大学，并于2014年开始招收本科生，形成了覆盖本、硕、博三个层次的高等教育体系。