现存明嘉靖四十二年(1563年)《重修广唐寺塔记碑》载有:“广唐寺创于古酸邑,及黾迁通郭,居人列寺之东向,及以塔名铺。明代诗人越应扬题《广唐古塔》诗一首“灵鹫连峰出化城,法云空寂念无生。兹航肯度诸方便,一拯民穷即大乘。广唐古塔这里曾是佛教胜地,进入这自由无碍的境地,一切烦恼皆无。据其建筑结构与风格判断,不早于宋代。据当地群众传说,该塔修至八层,因水患停工,塔顶至今未封。白马塔亦为六角形阁楼式砖塔,其外部轮廓,因三层以上逐层明显收缩,故稍呈抛物线型。各层飞檐均用青砖雕花叠涩砌成,上面为花檐,下面砖雕斗拱及仿椽头,各层高度不一。第二层最矮,无窗门,其余各层每层有窗门两个。塔高30.06米,底部直径10米,造型古朴。塔内有斜形梯道与螺旋梯道交替连接以达塔顶。第六层内有佛龛一个,但佛像早已不存在。