诈骗罪的犯罪行为结构是：行为人实施欺骗行为—受害人产生错误认识—受害人基于错误认识交付财物—行为人取得财物。对方骗取财物和你骗取对方财物的行为都符合以上行为要件，都是诈骗行为。但不一定是诈骗罪，诈骗罪还要要诈骗的数额和其他情节。数额小的话也没什么事。
非法占有他人财物，都算犯法。但是如果你确定对方是骗子，抛开法律，支持你。
