聚星樓原名「魁星塔」，又名「文塔」，考古相信，聚星樓由興建至今已有逾600年歷史。樓塔主要以青磚麻石建造而成，塔身呈六角形，原高七層，塔基位於一矮台之上，在百年多前被強風吹襲而遭破壞，上面四層經已塌毀，只餘最底三層完好無缺。信是風水的緣由，這樓塔便一直保存該形態至今。