治承四年（１１８０）の８月１７日深夜、頼朝主従は北條館を出て本陣を守山に置いた。時政は「今夜は三嶋大社の祭であり、本道である牛鍬大路を行けば怪しまれる恐れがある。北條から真っ直ぐ�Fの山木館へ向かう蛭島通を進むのが最善の策だと思う」と進言。
.
頼朝はそれに答えて、「物事の始めとして本道を選ぶのが筋である。それに蛭島通は(湿地のため)騎馬を使えない」とした。
結果として、守山から狩野川に沿って真っ直ぐ北進して肥田原を東に折れて二隊に別れ、佐々木定綱兄弟は山木館との中間の山裾にある堤信遠館を襲撃。時政の率いる残りの一隊は直接山木館に討ち入っている。
.
堤信遠は間もなく討ち取られたが兼隆主従は頑強に抵抗した。佐々木兄弟が応援に加わっても戦いが終わらず火の手も上がらないため、頼朝は郎党を木に登らせて眺めさせたほど。そして宿直要員の加藤次景廉・佐々木三郎盛綱・堀籐次親家たちを援軍に派遣、彼らは蛭島通を走って兼隆を討ち取り、館に放火した。