芦浦観音寺城が城塞化したものである。観音寺は、聖徳太子開基・泰河勝創建の伝承をもつ古刹で城郭として用いられたのかは不明だが、南北朝時代ごろと推測されている。

室町・桃山・江戸時代111年間琵琶湖の船奉行職として湖上船管理にあたり権勢を誇った。

四万石の知行も得て大いに栄えた。

この頃に石垣などが整備され、現在の姿に近づいたものと考えられている。