王阳明在此楼度过了他的童年时光。主楼建筑面积500多平方米，七楼七底，重檐硬山，结构简朴，气势较大，展现了浙东地区明清楼宅建筑的基本风貌。主楼设有王阳明史迹陈列，展览以翔实丰富的图片资料和实物，展示了王阳明先生作为“立功、立德、立言皆居绝顶”人物光辉灿烂的一生。 端云楼附近还有青晖佳气楼、大方岳第、翰林房、太守房等众多古建筑。