双塔公园因园内的两座古塔而得名，双塔分别是奎文塔和五桂塔，其中，奎文塔原名龙潭塔，共七层，重修后改名为奎文塔，现存遗址下面两层为明朝建筑风格，上面五层为清朝建筑风格。