土肥實平・遠平親子は平家の滅亡後は守護職として四国・九州を統治したらしいが、史料を確認すると元暦元年（１１８４）には備前・備中・備後の守護職となり、播磨・美作を統治していた 梶原景時 の所領を侵略して訴訟を受け、徐々に権限を失った末に最後に残った所領は安芸国沼田荘の地頭職のみとなったらしい。
遠平は後に小早川弥太郎として吾妻鏡に登場している。小早川は頼朝から与えられた早川荘（現在の小田原・早川周辺）エリアであり、遠平は土肥と小早川という二つの顔を持っていたようだ。
.
安芸国沼田荘では承久元年（１２１９）に、實平が遠平とともに遠平の妻である天窓妙仏尼（寺伝は源頼朝の娘としているが、実際は工藤祐経の室だった 伊東祐親の娘）を弔うために棲真寺（広島県三原市大和町平坂）を創建した記録が残っており、實平もその頃までは存命していた可能性が高い。
.
遠平嫡男の惟平は本領の土肥を継承する一方で 平賀義信 の子を養子として小早川景平を名乗らせ、安芸国沼田荘を継承させた。やがて小早川氏は安芸国（広島）に本拠を移し、戦国大名として歴史に名を残すことになる。小早川氏の血脈が惟平の系か、或いは義信の系統は確認できない。
.
建保元年（１２１３）５月に和田合戦が勃発した際の土肥惟平は相模中村党として和田義盛に与力して追討された。父の遠平が無関係を証明したたため土肥と沼田荘は失わずに済んだが、幕府中枢での地位は完全に失われた。穏やかに恵まれていた晩年とは言えない、らしい。
.
　　※大鑑禅師： 漸修禅（北宋）に対し頓悟禅（南宋）を説いた中国禅宗六世で名は慧能（貞観十二年・６３８年〜先天二年・７１３年）。禅宗の祖と言われる。
.
　　※雲林清深： 文永十一年（１２７４）〜延元四年（１３３９）。北條氏の招きで嘉暦元年（１３２６）に元から渡来した禅僧。鎌倉で建長寺・浄智寺・円覚寺、京都で