衡阳杨家花园的主人是孙杨澍。根据查询相关公开信息，杨家花园又称萼园，兴建于光绪二年公元1876年，乃清朝福建巡抚杨健之孙杨澍所建。