南北朝是充满民族斗争和融合的时期。最初统一了北方的北魏政权，用道教和佛教作为精神的统治工具，宗教建筑特别是佛教建筑大量兴造，出现了许多巨大的寺、塔、石窟和精美雕塑与壁画。北魏立国140多年后又分裂成东魏和西魏，之后又被北齐和北周取代，频繁的朝代更迭，使军事重地雁门多蒙战乱之灾。据史书记载，从东魏至隋的70多年中，雁门山上大修长城的工程曾进行过5次之多，在这种历史背景下，与长城一山之隔的白仁岩，恐难有营建寺庙之举，仍处在早期草创，纯任天然的阶段。
唐代的天宝元年（公元742年），朝廷曾敕令天下“庙有颓废者，所在长官量事修建，得道升仙之地，代远迹存者，虔加礼醮”。当年慧远幽栖演法之地是否受到地方长官的“礼醮”，或者“量事修建”？尚待进一步考证。不过位于雁门凤凰山的来仪观在朝令颁布后，于天宝八年（公元749年）改名天长观，因一道士羽化升天，观址很快得到缮治。唐代中期，雁门地区已有了圆果寺、天宁寺、天长观、观音寺、瑞云观、白杨神祠、文庙、太子庙、佛光寺、文殊寺等一批规模较大的寺、祠、庙、观。散布于乡村的小寺小庙更不知凡几。相信当时白仁岩也决非隐秘无闻之地。还应注意，天宝以后不到百年，中国历史上曾发生过“会昌灭佛”事件，这是唐武宗在位时限制佛教的政策，致使众多寺刹拆除，僧徒遣散，其时白仁岩即使有了寺庙，也许因“灭佛”而遭破坏。
到了金代，尤其从大定十八年（公元1178年）开始，代州立监铸“大定通宝”钱，官府大量开采州城南部山区的铜矿，冶炼铸造国家流通的货币，一定程度上拉动了其他产业的发展，如：冶炼、锻造、殖货、建筑、手工作坊等行当。在地域经济相对发达的代州，也给宗教文化创造了有利的发展空间，故尔佛事活动比之前代更为活跃。大定年间，白仁岩寺的整治修缮得到民间的大力支持，乐善好施者，纠首经理者不乏其人。
二OO五年秋，我们在白仁岩寺内首次发现了金代的碑石、崖刻，为揭示白仁岩的悠久历史提供了不可多得的珍贵资料。其一，残碑3小块，损泐过甚，内容不可卒读，但有“我圣朝天德间……”，“曩远公演法之际”，“灵泉”，“存者咸已圯垝”等语句，可以断定此碑为金代之物。天德（公元1149 1152年）是金海陵王完颜亮执政的年号，相当于南宋绍兴十九年，距北宋结束不到二十年。残碑的碑首仅能识读“寺记”两个完整的篆书字。残碑的价值在于将白仁岩建寺修庙的历史上推到北宋。其二，寺内岩壁上有“大定十五年七月二十日齐现”一则纪年题刻。刻字右侧岩石 有剥落痕迹。无法知道刻写内容，应该是款识。其三，另有一例题刻为“七月廿日武师□契平章作须弥座”。周围没有与此相关的文字。疑似工匠的制艺铭记，值得研究。
元代的白仁岩寺，从规模范围上考察，基本保持了北宋和金时的格局。还是在二OO五年春天，我们在七星泉岩石上又发现了一处元代至元六年（公元1340年，后至元）四月初八日民间举办庙会的一组人名刻字。古代的习俗，庙会承办者有提领、社长之类的人，均属山外各村较有名望的头目。四月初八日的庙会，一直延续到现在。传统的庙会期间，乡民要组织进行祈雨迎神、和尚诵经、求子托福、驱邪避鬼、占卜功名、祈祷风调雨顺等名目繁多的风俗活动，持续3 5天不等，还请戏班子来为唱戏助兴。时值春夏之交，满山的松、杉、桦、桧经过冬天的冰雪洗礼，焕发出苍翠郁勃的生机，杂花异卉尽相绽放，迎来四面八方的香客游人，不难想象出六百多年前那红火热闹的场面。
元代晚期的至正十一年六月（公元1351年），白仁岩有过修葺，现在正殿后面的岩壁上留下了工匠的名字和线刻观音坐像，也很珍贵。
有明一代，是白仁岩寺区人文景观进一步拓展的时期，原址上大兴土木工程首开历朝之最。山口的外围也相继建起了寺庙，现在沿称的小寺，就是其时所建，属于主寺区的下院。院落单进四合，座北向南，为入山的必经之地，须先朝拜。寺内僧人还经营着周围沟壑坡梁上的百余亩护寺庄田，收获所得供养全寺。小寺以北半里远的路边，又有背东向西的小庙一处，传称观音庙，大凡乘骑坐轿者到此歇脚小憩，然后徒步登山，车马则由庙内专人看管。进山前，人们也要焚香，祈愿平安。观音庙的西边为广缘寺，与观音庙隔沟相望，规模不大，面南靠山而建，寺内古井一口，水尤清冽，乡下人称，寺的周围原有合抱粗的松柏几十棵，混生桦林，亦别有天地。
清乾隆五十年的《代州忐》云：“晋释慧远建祠，巨石上有石浮图，峰头有说法台、棋枰石，而定心石则舌吐危崖之上，立者熊经。”慧远于崞县(今原平市)创立胜井院、代州创立白仁岩寺，31岁时随师南下襄阳，后至庐山东林寺，创立莲社念佛，行成净土道场。因此说，白仁岩寺为净土宗最早的祖庭。该寺创建于东晋升平元年至兴亍二年(357—364)，修葺于唐宋，重建于明清。明时，慧庵、微庵发心重建正殿、前殴、伽蓝殿、祖师殿，并山门、禅堂、东西廊庑，遂使该寺一一周备，栋宇宏伟，像设庄严，金碧辉煌，黝垩芳菲，又成了一大梵宇花宫。清乾隆三年(1738)，乡人不忍其废，又重建殿、阁、祠、庑、钟鼓二楼，饬旧鼎新，表里庄严，复为一大禅宗丛林。
1949年后还有山门、正殿、东西配殿和钟鼓二楼，“文革”期间殿堂及尊像俱毁。近年来又重建大殿5楹，单檐歇山顶，前出廊，七踩斗拱，棂子形门窗，窗户上方的木板上还绘有15幅佛教故事彩画。殿内供有“西方三圣”，中为阿弥陀佛，站于莲台上，左手托钵，右手掌心向外下垂，结施愿印。左为观音菩萨，又为大势至菩萨。这3尊铜像高2米，衣纹流畅，色彩古朴，铸造十分精致。大殿左面有明嘉靖三十九年(1560)、清乾降二十五年(1760)、清嘉庆二年(1798)及道光三年(1823)、十五午(1835)、二十五年(1845)、还有同治元年(1862)、光绪九年(1883)、公元2002年等重修碑记12通：大殿两边原有歌台和琴台，前面还有静台。大殿前面为大雄宝殿、天王殿、山门、钟鼓二偻等遗址，左前侧有寮房3间，现住一位僧人。从寮房向东走有见方2米的石洞，内有净土宗初祖慧远法师的彩塑坐像。
