当寺は天安二年（858年）に奥州安擦使（あぜち）山陰中納言（伊達家元祖）の発願により、慈覚大師の高弟道叡和尚が、奈良吉野山の白滝の中から出現した聖観世音菩薩（長野善光寺形）を本尊にいただき開山したと伝えられています。「天安元年の夏、奈良吉野の白滝の所が、夜な夜な光明を放つことあり、民が不思議に思い比叡山の慈覚大師にその事を告げると、大師は自ら白滝の元へ駕篭をなし暫く観念せられると、光とともに滝より金銅一尺二寸の観音様が現れ、その霊験あらたかなること筆舌に及びがたし」と由来碑には刻されています。

　山陰中納言は故あってこの地に居住しますがこの霊験あらたかなる観音様を深く信仰し、大発願のもと慈覚大師に願い出て自身の守り本尊とし、大師の高弟道叡とともにこの地に来臨し、上鳥渡玉ノ森山に一宇の草堂を建てて安置し、白滝の名にちなんで「瀧寿山」を開山したと伝えられています。山陰中納言は後に大宰府都督となり、五十年後に現大阪府茨木市に補陀洛山総持寺（真言宗）を建立し、そこに墓所が現存しております。

　その後、江戸初期寛永年間玉の森山の寺は焼失しましたが、本尊の観世音菩薩は難を免れ、寛永十八年（1641年）に、中興の祖清海和尚により、現在地に現本堂が建立され、上野寛永寺の直末寺として、瀧寿山普門院観音寺を名のりました。のちに元文二年（1737年）に東手参道添いに大悲殿（観音堂）が建立され、古来の聖観世音菩薩は大悲殿に移遷され、本堂には新たに阿弥陀三尊来迎像が安置されて、現在に至っております。

　第二中興の舜海和尚は、江戸末期から明治にかけ、一切経蔵および書院を拡張し、寺領八十石を預かりました。時は明治政府の廃仏毀釈により多くの寺院僧侶が廃寺還俗となりましたが、舜海和尚はその多くの寺院を当寺の末寺として助け、疲弊した本山に対しても多額の寄進を行いました。また晩年は常陸の国千妙寺住職、総本山比叡山延暦寺戒蔵院住職に任ぜられ、宗務を司りながら観音寺を兼務しておりました。又、当時より観音寺は僧侶を育てる法脈寺としての役割があり、今は本山にて加行が行われていますが、常に修行僧の姿が昭和四十年代初頭まで見られました。今も本堂内には多くの修行僧の結願札(修行が終わって最後に書くお札)が残されています。

　下野国（栃木）出身。大同三年（808年）比叡山に登り、伝教大師最澄の弟子になりました。

承和五年（838年）遣唐使の留学僧として唐に渡り約十年間五台山、長安などで多くの教典や仏具を持ち帰りました。帰国後は日本各地を行脚し、大師の創立した寺院は、全国で五百余寺にのぼり、日光山輪王寺、松島の瑞厳寺、平泉の中尊寺、毛越寺、恐山地蔵堂、山寺立石寺、霊山寺など東北地方にも多い。仁寿四年（854年）第三世天台座主となり、貞観五年（864年）七十一歳で入寂しました。滅後二年目、「慈覚大師」という大師号を贈られました。

なお在唐中の日記「入唐求法巡礼行記」は、玄奨三蔵の「大唐西域記」やマルコポーロの「東方見聞録」に比すべき旅行記として有名であり、 当時の旅の困難さや唐の時代の様子を知る貴重な資料です。