風土記に曰く「先祖は勝楽寺村リウカイの城主豊後入道伏見小太郎或は星見小太郎と称するものあり）の家人にして、筑後守と称し、三ヶ島に居れり。小田原陣の時にや、リウカイの城攻め落され、村内別所山とて四方十町許の山へ、豊後入道の弟子七人を具して隠れ住み、農耕を事とし子兵庫助まで二代谷山に居れり。今の与平次山クボ屋敷跡は其旧所なり」と。