弘法大師が岩窟を選んで高さ一尺一寸（36.4㎝）の観音像を彫刻してこの岩窟に納め、その名前を岩室山と号したと伝えられる。松山城主が代々信仰し護持していたと伝えられており、天正18年（1590年）豊臣秀吉が関東に出陣した際に松山城の落城に伴い建物の全てが焼失したといわれている。 現在のお堂は江戸時代の寛文年間（1661〜1673年）に龍性院第三世堯音が近郷の信者の助力を得て再建したものと伝えられている。お堂の造りは懸造り様式で、江戸時代のものとしてはめずらしいものである。