山上多石，石质较佳，历来为采石基地，故又名打石山。登上这苍翠的胜归山山巅，向南俯瞰姚城，则见阡陌纵横，道路蜿蜒，层楼耸立，车船竞飞，繁荣的风貌，尽揽眼底。胜归山旧有刘将军庙，祀东晋将军刘牢之。到明嘉靖年间，在庙前增建复初书院。至明万历前期，有僧人将庙改建为灵岩禅院，俗称胜归山庙。近年重修更名为灵岩禅寺。