蔡侯祠，原为东汉造纸发明家蔡伦(公元63—121年)故宅，后人就其宅基建祠，纪念蔡伦。《水经注》载：“(耒水)西北经蔡洲，洲西即蔡伦故宅，旁有蔡子池”。

　　蔡侯祠始建年代不祥，元至元四年(1338年)耒阳知州陈宗义重修。后几经兴废，现存建筑为清代重修，古朴典雅。占地面积408平方米，座南朝北，砖木结构。分三进两院，前厅三间单坡小青瓦顶，两侧有走廓，中轴为甬道有屋盖与中厅相连;中、后厅三间悬山顶，亦有走道、甬道相连。大门石额“蔡侯祠”，石联：“芳池月映，故宅风存”。