父を討たれ曽我に育った兄弟

兄弟の父河津三郎祐泰は、伊東の豪族伊東祐親の子だった。平家全盛のころ、京に勤めていた工藤祐経の留守に、従兄弟の祐親がその領地を横取りし、訴訟でも半分しか取り戻せなかった祐経は恨みを抱く。安元二年十月、祐経は伊豆奥野の狩りから帰る祐親父子を部下に待ち伏せさせ、祐泰を殺した。母の万江御前は幼い一万と宮王を連れて小田原の曽我城主曽我祐信の後妻となり、二人は十郎・五郎として曽我を名乗る。兄弟は北条時政の妻の甥で政子とは従兄弟にあたり、有力御家人と縁続きだった。一度は頼朝に命を狙われ由比ヶ浜で斬られかけたが、畠山重忠と和田義盛の嘆願で許されたという。