さすがに１３００年前の創建だけあって、五所神社の境内には推定樹齢６００年のクスノキ（周囲８．２ｍ・高さ３６ｍ）と、同じく８００年の銀杏（周囲８．８ｍ・高さ２５ｍ）が聳えている。更に鳥居から見て県道を隔てた南側にどっしりと根を張っているのは推定樹齢８００年の明神の楠（周囲１１．８ｍ・高さ１８ｍ）。かつてはこの楠の横に参道があり、参拝者は千歳川で身を清めてから参拝するのが決め事だったらしい。
五所神社（公式サイト）が五所大明神と呼ばれていた頃からの習俗、と伝わる。
.
根元の洞には地蔵尊を祀る小さな祠が設けられ根元の盛り上がりの逞しさはまさに明神の楠と呼ぶに相応しい。すぐ横には東海道新幹線の高架が通っており、ひょっとして眼を凝らせば一瞬だけ明神の楠が見られるかも知れない。
.
土肥（湯河原）の伝承に拠れば、始祖の二見加賀之助重行は 北側の山頂に神霊を祀って白山（しろやま）とした、と伝わるから当初の奥の院あるいは本殿は山頂にあったのだろう。もちろん一時期の山頂は小田原北条氏時代の出城あるいは哨所に利用されており、社殿の痕跡は既に見られない。
.
主祭神は五柱、 天照大神（アマテラス・太陽を神格化した神・天忍穂耳尊の養父）、天忍穂耳尊（アメノオシホミミ・瓊瓊杵尊の父）、瓊瓊杵尊（ニニギ・彦火々出見尊の父）、彦火々出見尊（ヒコホホデミ・鸕鷥草葺上合尊の父）、鸕鷥草葺上合尊（ウガヤフキアエズ・神武天皇の父）。例大祭は８月１日と２日、敗残の
土肥實平が舞ったと伝わる焼亡の舞も演じられるが、もちろん神楽のような伝統を持たない創作舞踊に過ぎず、４月第一週の土肥祭の方が面白い。
