衢州为历史悠久的文化名城，自宋代以来，曾建有多座书院，理学大师朱熹等多次来衢讲学。清代以来，仅历史可考的书院有二十四处之多，曾吸引众多名师大儒接踵来衢讲学，遗憾的是目前只保留衢州书院一处。
衢州书院始创于清康熙四十七年（1708年），由当时衢城名士、雍正元年举人吴士纪所建，初名修文，后经多次毁废重修。现存书院位于衢州市区小西门，为清代建筑。书院坐北朝南，占地面积约850平方米，平面呈纵长方形，从南至北依次为大门、前厅、后厅和楼房。前后厅之间有天井，两侧有厢房和走廊，后厅与楼房之间亦有天井。
前后两厅为教学空间，通面宽均为24米，通进深均约8米。前厅面阔十三间，采用七檩硬山前后廊的形式。后厅面阔九间，为硬山檩八前后廊的形式。梁架之间多悬柱，为古代室内减柱的做法，其目的是腾出空间，便于实际使用。后楼为跑马楼的形式，为先生起居之所，也供远道而来的学生寄宿。
衢州书院建筑位于市区繁华路段，具有较高的文化价值。其建筑中垂花悬柱的减柱做法较为独特，构建之上雕工精致，具有较高的艺术价值。2002年市文物部门对书院建筑进行了全面修缮。
