神社の創立年代は不詳であるが、細谷郷は高芦の庄の範囲であって細谷郷として認められたのは建久元年（1190年）からである。其の当時既に神社が存在していた事は確かである。

神官氏経記に「三河国細谷郷御厨者厳重之神領云々」とあり、寛正５年（1464年）の条によれば、今日口碑に存する勢谷御厨もそれ以前の名称であろうか。徳川家康が隣郷小松原東観音寺に参詣の節、当神社に武運を祈られ、羽衣・神田の二神田を寄進されたと口碑に存している。又今も地名として残っている。

元禄以前は今の海岸に鎮座していたが元禄１2年（1699年）の台風大波の為部落民移転と共に今の地に元禄１６年（1703年）遷宮し奉った。

明治新政府の神仏分離の施行に伴い氏子内の全村神道へ改宗。

明治４年社格制定により村社に列格、明治４２年４月９日八幡社及び社宮神社を合祀し奉り、大正１２年指定村社に列せられる。

宝物に室町時代初期の懸仏、文亀３年（1503年）６月吉日落合左衛門尉家久の銘文の鬼瓦２面（豊橋市指定文化財）がある。