「中國音樂資料館」於一九七二年創立。香港中文大學音樂系自一九六七年起開設中國音樂課程，系內祈偉奧博士與張世彬先生深具遠見，籌劃建立中國音樂教育及研究之資料庫。得崇基學院支持，「中國音樂資料室」於一九七二年成立。資料室設於崇基學院禮拜堂中層，由收購數十件樂器及首任館長張世彬先生捐贈其自日本搜集之珍貴中樂資料開始，並誠蒙「麗的呼聲廣播電台」捐贈大量珍貴唱片及開卷錄音帶，藏品質量增長迅速並十分充實，資料室後來擴充為「中國音樂資料館」。其時國內正值文化大革命，中國音樂資料館遂肩負保存中國音樂資料文物一脈於海外的使命。在2016年，本館成為香港中文大學音樂系中國音樂研究中心的附屬單位，研究中心的其他單位包括戲曲資料中心。

過去本館陸續搜購及獲得多項重要捐贈，目前藏品之罕有及豐富（特別是華南地區及香港之音樂資料），已立足為國際間重要的中國音樂資料庫之一。