不可以。如果双方在借款协议中明确约定了借款金额、利息、还款时间等条款，并且双方都按照协议要求履行了自己的义务，那么就不存在追回利息的问题。