可以。在聊天过程中，男人说你要这么想我也没办法，这是属于不负责任的行为，是一种无赖的说法。因此可以不回复。人都要根据自己的真实想法和感受来做出决定，不要让自己感到不舒服或者违背自己的原则。