原名昭忠祠，曾经是太平军驻军的营房，湘军镇压太平军后，就在上面设立了湘军水师阵亡将士灵位，因而改名为忠烈祠。由于曾国藩手下水师将领彭玉麟长期在此驻守，所以这里很多的建筑都由他所建。