不知道谁寄送了快递并将其退回，对方是无法直接知道是您退回了包裹。快递公司会尝试联系寄件人或退回的地址，以解决包裹的归属问题。退回包裹时选择匿名退回，即不提供任何联系方式或个人信息，那么快递公司很难将包裹返还给正确的寄件人。在这种情况下，包裹会被退回到快递公司的仓库，并按照其进行处理或储存。