大林寺为四世纪僧昙诜(shēn)所创建，位于大林峰上，寺周围种植许多花木果树，蔚然成林。大林寺西侧，有两株由西域僧人带来的树种、昙诜手植的娑罗木宝树，高干巨枝，亭亭如盖，“不庇凡草，不止恶禽，耸干无惭于松柏，成荫不愧于桃李。”至明清时，宝树仍在，明代袁宏道有《宝树诗》云：“铁千铜肤四十围，隔峰犹自望孙枝。涂云抹日空山里，曾见东林行道时。”
从现在尚存的花径推测，大林寺当年规模还是较大的。十二世纪下叶南宋诗人周必大的《吊大林寺》诗：“上尽诸峰地转平，天低云近时多阴。古来南北通双径，此去东西启二林。虞世南碑从泯没，白居易序合推寻。匡庐第一金仙境，忍使如今遂陆沉。”可知道大林寺在那时已只有残迹了。