浮気城は観音寺城主・六角氏の家臣である浮気氏の居城として知られている。六角氏が織田信長によって滅ぼされると、以後は織田氏、豊臣氏に仕えた。1570年（元亀元年）に信長が金森御坊の一向一揆衆と対峙した際にこの城を拠点のひとつとして利用したと伝えられている。現在城址には住吉神社があり、境内には幅2ｍ、高さ1.5ｍの土塁と堀が良好な状態で残っている。