南宋以前，处于县城南郊的艮岩，峰峦叠嶂，林深壑荒，古木参天，藤蔓纠葛，成为狐兔猿猱憩息之所，也是豺狼虎豹经常出没之地。淳熙十五年(1188)，宜章县令吴镒探访游览蒙艮二岩，见奇峰巧岭，洞穴幽深，井泉琴鸣，涧流鼓答，遂将二岩命名为蒙岩和艮岩，并撰写了《蒙艮二岩记》。“末得之岩，命之以艮，两岩并重，艮之象也。动静维时，艮之义也。”“艮之泉，始险而伏，卒达而行，谓之亨泉。”涧曰槃涧，下有鱼渊，深不可测。县令吴镒说：“士学于斯，吏官于斯，宾旅游于斯，休焉玩焉，即物之察已，必将有乐于斯焉，亦将有叹于斯焉!”

　　南宋至元初，相传此地有灵物蟠蛰于下。洞穴深远，能通南海，有巨龙隐居，故艮岩又有“龙隐”之名。是时有僧人和佛教信徒在艮岩洞内水潭边建造了一座观音大士坐莲台的佛像，两旁又铸造了十八尊者(又称罗汉)和龙王神像。时间和捐建者均无考。此后，慕名前来求神拜佛的信士和浏览胜迹的人日渐多了起来。

　　元天历二年(1329)，宜章达鲁花赤兼劝农事蒙古人金金(自号振斋)到任，就参拜了艮岩，见岩内的“普陀大士像，岁久为石窦泉滴，陊剥圮坏”。便改用金属铸造。使其久远而不变形。旁边的十八罗汉和龙王诸神像，则改用铜铸造，自己带头捐资，不足部分发动县人捐资。元统元年(1333)，新任宜章县达鲁花赤兼劝农事罗贴木儿，宜章县尹兼劝农事葛燕帖木儿，宜章县主簿陈鹏飞，典史刘熹等，将诸佛像以纯金装饰，增加了佛像的华美。

　　宜章元史资料几乎空白，《艮岩功德碑》弥足珍贵，而且成为唯一的史料。但是蒙古贵族强占民田，不耕不稼，专放牲畜，将农田变为草场，给农业生产造成严重的破坏。元朝统治者很懂得宗教的作用，对各种宗教采取优待和提倡的政策，尤其盛行的是佛教。根据《艮岩功德碑》所记，证明担任宜章牧长、县尹的都是蒙古人，他们的官职都是达鲁花赤，由他们掌印办事，掌握实权，而且都兼了劝农事，说明特别重视农业的发展，而且很重视和提倡佛教，身体力行带头捐资，修饰佛像。

　　明成化十一年(1475)，知县李日春(又名李朝阳)游艮岩，看“昔人尝累石为台，中肖观音像。岁或旱，人或灾，能秉诚祈祷，必获嘉应善”。观亭宇腐朽，不足以“揭虔妥灵”，“遂捐资撤新之”。岩之前，竖露亭为憩息之所；岩之右偏，立斋房以居善士，以便烧香供佛。

　　明弘治年间(1488—1505)，游方僧释慈祥来到艮岩，见松篁交翠，花果争妍，岩洞奇特，泉自中涌出，形胜幽静。释慈祥云游四方以来，没有见到有如此好的地方，“遂定志于斯而住持焉。”知县李璇和地方士绅、商人见其爱礼仁贤，遂伸出援助之手，以成其志。于是辟道路，新龛佛像，建庵居，命名为艮岩寺。又经过五到七年垦荒化缘得金若干，买田若干亩，并于岩前建佛殿若干间，均为开山僧释慈祥之功。县人邝和夫请户部尚书邓庠撰写《重修艮岩碑》，。邓庠说：“予老，倦于此也，当属之汝忠。”县人吴谏(又名汝忠)曾任四川汉州知州，义不容辞而奉命。释慈祥找到执笔的吴谏，请求将地方官吏和长者勒名于石后，但不要写他的名字，以崇尚佛教的“虚无”。