寺伝によれば、空海（弘法大師）がこの地で修行をしていた際に、弥勒菩薩が多くの菩薩を連れた姿を感得した。そこで霊木に弥勒菩薩を刻み堂宇を建立して本尊として安置したという。空海の甥に当る真然僧正が金堂を建立、祈親上人が講堂、三重塔などを建立し七堂伽藍の大寺院となったと伝える。