不是。根据史载，谢玄原配妻子为泰山羊氏族人，感情甚笃，曾有寄鱼的佳话流传。丧偶后，出于政治原因而续娶谯国桓氏，因此，不是只有一个妻子，而是两个。谢玄出生于陈郡谢氏家族，其家在谢玄时代已经成为江左高门，号称诗酒风流。