所谓物极必反盛极则衰，潘氏家属的光辉在潘祖荫手里到达了光辉的顶峰，但顶峰之后就是衰弱的开始。潘祖荫不停无后，以是他的弟弟潘祖年就把两个儿子过继给潘祖荫，但也相继早夭，只剩下两个女儿，家中照旧无人继续香火，于是，“老三房”的子女潘承镜被过继过来，成为潘祖荫和潘祖年两家的孙子。然而，好像是潘祖荫的掷中没有子女，潘承镜过继给潘祖荫后不久也亡故了，只留下了一个新婚仅三个月的老婆潘达于，没有留下子嗣。