象山书院首创于南宋谆熙十四年，即1187年，当时称作“象山精舍”。象山精舍的开创者是陆九渊及其门徒彭世昌，象山精舍是为象山书院的前身，地址在江西贵溪上清镇东南的应天山。

宋淳熙十四年，彭世昌来贵溪寻访老朋友，一日登应天山，见“陵高而谷邃，林茂而泉清”，于是便与诸友商议，准备结庐延请陆九渊上山讲学。

在彭世昌的恳请下，1187年，陆九渊来到应天山。他见应天山形“宛然巨象山”，便易应天山为象山，自号象山翁，居所称象山草堂，讲学处为象山精舍。

陆九渊规定了象山精舍的办学宗旨是：明理、志道、做人。为了实践自己的办学主张，陆九渊在象山精舍采用于多种教学形式，运用了一些与众不同的教学方法，诸如严肃认真的升堂讲学，他从容不迫地讲课，终日不倦。象山精舍平时就读的学生约百人，五年中先后来求见问学者逾数千人。

象山书院几经风霜，几经迁徙，直至清同治年间迁至县城东重建书院，又因战祸，荡然无存。然而，它的影响始终存在。

它为贵溪乃至相邻各县的文化发展、培养人才作出了突出贡献。在宋、明时期，贵溪学子中进士者200余人。南宋嘉定至淳熙四十四年间，贵溪籍郑天佑祖孙三代11人中进士。

清代学者全祖望评价说：“岳麓、白鹿、丽泽、陆氏之象山，并起齐名，四家之徒遍天下”。