1500年も前に古代人が海神を祀ったのが始まりで、源頼朝が伊豆三島明神を祀り、栄えたと伝えられる。祭神は大山祇命（オオヤマツミノミコト）といって渡海（船の安全を守る）の神さま。鎌倉への通り道であり、船着場でもあったので、お参りする人でにぎわった。
また、須佐之男命（スサノオノミコト）といって、農耕と防疫（伝染病予防）の神さまが祀られている。そのため、農民の祭りがにぎやかに行われていた。
そのほか、熊野神社、諏訪神社、日光社、山王社、六宇和野大神宮、瀬崎の稲荷社、三艘の浅間神社、高谷の白山社と、多くの神さまが祀られている。これは、明治43年にこれらのご神体が瀬戸神社にうつされたからである。