天長3年（826年）に第3代天台座主の円仁（宗慈覚大師）が開基したと伝わる古刹。
大師が諸国を巡錫した平安朝初期、この香坂地域一帯には湖が広がり、その美しい眺望に比叡山から琵琶湖周辺の風光を重ね、同寺を建立したといわれる。
寺の背後にそびえる閼伽流山の「閼伽」は、サンスクリット語で「清らかな水」を意味し、かつてはこの山から清冽な水が湧き出るとともに、仏道修行の霊地として知られていた。
大正12年（1923年）には当時摂政宮であった昭和天皇も行啓された山で、ふもとの明泉寺から山頂まで1丁（約109メートル）毎に石塔が建てられ、30分程登った12丁目の崖下の観音堂や鐘楼の脇には百観音石仏が立ち並び、そのスケールに圧倒される。