受害方与其和你的配偶吵闹，不如策略一点和他谈谈说给他一个机会让他承认错误，你可以在这期间录音，作为以后诉讼的证据，如果可以的话你还可以要求他写一份，其中写明他和谁的什么关系，这是一种更直接的证据。