桐江书院系宋乾道年间（公元1165——1173年），由晚唐诗人方干第八代孙方斫举资创建，因其祖方干桐庐人，故以“桐江”为名。1156年，朱熹到仙居时，曾带儿子（朱埜）到皤滩巡视讲学，使之名冠江南，遂号称“江南第一书院”。当时书院未建，讲学只能在方氏义塾举行。