桜井の集落の山側に古墳群がある。昭和初期に発掘を行っており、様々な古墳から直刀が合わせて20本ほど出土したと伝えられているが、戦時中に供出されるなどして所在が全く分からなくなり、現在は一本も残っていない。縦穴の古墳では埋葬者と壷や剣などの副葬品も発見されており、一段高い高座に１名、その両側に１名ずつ埋葬されていた。発見当時伊勢神宮からその埋葬者についての問い合わせがあったが、話が大きくなることを危惧して何も見つかっていないと伝えた。神社の裏手の山に古墳があるほか周囲に少なくとも4か所古墳がある。神社裏手の古墳の脇には石仏があったが、去年の左義長の準備のために山に入ったところ盗まれていることに気付いた。古墳の石積みは桑畑を開墾するのに邪魔になるため解体され、桜井の白鳥神社の石垣に古墳の天井石や鏡石等、1.5ｍ×2.0ｍ程の大きさの石が10数個使われている。