本地文史研究者韦秀程研究以为，约莫在宋朝，有一位叫做胡离庵的人寓居新市，他大概就是新市胡氏的远祖。千余年来，胡氏子嗣浩繁，此中明清时期最负盛名，从政、从文都有建立。比方勤于政事卒于任上的岳州府同知胡瑄、抗倭抗清的崇祯天子近臣兵部侍郎胡尔慥，比方致力于新市文献研究传承的胡嗣宗、胡道传等。