不见得就一定无法拿回的，首先，你的借据5万块是不定期还款的，你可以随时到法院去告他还钱，这是可以的。另外，没打借据的那些钱，你也可以向法院主张，但是你要向法院提供证据证明钱已经交给他了，是他借的，想办法说服法院支持你就可以。至于他还不还钱，那可以先判决以后再说。先把你的债权确定下来，找到他就让他还。
白条上有借款金额.日期.签名或手印，有日期还款日期到两年，过了就无法起诉。无日期的从你讨债开始两年。
