西林寺は元々は南濃町津屋の山脇という所に建っており、西林坊といった。
養老町の浄土真宗の寺の中には天台宗から転派した所も多いが、西林寺は元々浄土真宗で、改宗したという記録は無い。西林寺の門徒は現在6軒である。
「堂宇修理にあたり沿革を概誌する」という冊子に「歴代十色沿革誌」として歴代住職の名前が初代から19代に渡って掲載されている。冊子は元養老北小学校などの学校長を務めた高木安正知（たかぎ あんしょうち）氏の記録によるものである。
また、同冊子によれば、山門は多良の水行奉行高木家のからめ手門を移したものである。