虽然口头协议但是谁都知道的~~~我们能否要回那4000元钱？

   我是北京郊区的今年5月份我母亲找本村一个做防水的为我的5间平房做防水，以每平米多少钱承包给他没有签订承包协议。做了一间后他从房上摔下造成重伤据说花费医疗费1万8千多。事后我如数给付全部工程款，并多次去他家探望。，（其实刚出事时我母亲出于人情想给他1000快作为安慰）最近对方找到我母亲要求我方承担医疗费~~~还说如果我们不出就去告我们！并多次找人来讨要（包括本村的村长），我母亲无奈只好给了他4000元并签定协议在不讨要。看到我母亲因为这见事一直感到很委屈，精神上很受打击！我不知道该怎么办好
   请问各位尊敬的律师朋友：我们真的要为他的摔伤负责么，他干活是承包的啊，虽然口头协议但是谁都知道的~~~
   我们能否要回那4000元钱？

你家是有责任的,不能要回