飯田字丸ノ内の飯田安藤氏の本家のあたりに飯田城というお城があったと言われている。お城と言っても小さな砦であったようである。