文殊山在新罗和高丽时代被称为灵鹫山，寺院创建当时就取了山名来取名，是大韩佛教曹溪宗第15教区通渡寺的末寺，建于新罗善德女王15年(AD646年)，由当时从中国学习佛法而归的慈藏律师主持兴建。 根据《三国遗事》记载，当时著名高僧隐居于灵鹫山，常习读法华经修行，留下了一段佳话。 现已无法寻找与高丽时期文殊寺相关的记录，但是寺庙的名字明确出现在了《梵宇攷》书中，说明其香火不断、一直延续到了朝鲜后期。