我国自宋朝以来就有“四大书院”的说法，但是究竟哪四所书院可以称得上“四大”，则各有各的见解。第一个提出“四大书院”说法的是南宋著名诗人范成大，他把山东徂徕书院、江苏金山书院、湖南石鼓书院和岳麓书院并称为天下四书院。

不久后，理学家吕祖谦也提出了“四书院”的称呼，但是跟范成大不同的是，他眼中的“四大”是指河南嵩阳书院、湖南岳麓书院、河南睢阳书院和江西白鹿洞书院。

两个人的意见相差如此之大，只有岳麓书院是他们的共识，所以后人把岳麓书院称作“四大书院之首”，甚至“天下书院之首”。