御蔵入三十三観音第21番札所です。 文治5年（1189年）に源義経が奥州平泉へ落ち延びる途中で、この地に人目を避けて投宿しました。建暦2年（1212年）に家臣の一人である渡邉内膳守義政が、糸沢宿の真ん中に開山したとの伝承があります。 寛文5年に当時の住職が日光を参拝した際、中尊寺の上人から夢でのお告げとして、馬頭観音菩薩を手渡されたと伝えられています。 また、戊辰戦争で会津に攻め込む新政府軍が投宿し、その際に残されたとされる「芸州弐番隊」という逆さの文字が、現在も本堂の襖に残っています。 境内には南会津の桜スポットとしても知られる見事な桜があります。