元至正元年（1341），建寧府通判劉伯顏應朱子五世孫朱沂之請，修建考亭書院，重新建起“文公祠堂”，虞集撰《考亭書院重建文公祠堂記》，有記述其興建始末：

至正元年辛巳，通守劉侯伯顏至郡且二年矣，文雅樂善，以學校之事為己任，知無不為。文公之五世孫沂以考亭之事告諸通守，通守曰：“是吾職也?！蹦溯z他學之羨，積得中統鈔千五百緡，以屬諸縣典史陳德敬共其事，與山長朱汝舜、直學張隆祖會邑人士而告以侯意，咸曰：“此吾黨小子愿執事焉，第俟公府為之先爾。”翕然趨勸，而共作新之，加葺更造，悉視其所宜而不敢過，自堂徂基亦既合矣，而新作文公祠堂……

至正二十五年（1365），郡判方逢辰、建陽令郭瑛擴建考亭書院，“復相與規劃”，增田五百畝，創辦義學。祠田之租入可供祭祀之用，可供養諸生，考亭書院一時書聲瑯瑯。

明朝永樂十四年（1416），建陽暴發特大水災，地處溪水邊的考亭書院被大水沖毀。宣德壬子年（1432），建陽知縣何景春重建考亭書院。天順六年(1462)推官胡緝重修，彼時，考亭八世孫朱洵首先響應，邑中士人也慷慨解囊以助。書院“中為明倫堂，堂前為廳事，后為諸生宿舍”。此外，胡緝重建當年朱子的“天光云影亭”，并撰銘文，在亭中立“半畝方塘”詩刻碑。

明王朝永樂元年（1403）后，以一省為一道。派監察御史分赴各道巡視，考察吏治，每年以八月出巡，稱巡按御史。這些從中央下來巡按的御史官們讀朱子之書，來到福建經過考亭時，此山此水此情此景，自然涌起萬般感嘆。由此，形成了明代御史官不斷重修考亭書院的記錄。