潭溪書院，在崇泰里莒潭，宋黃文肅榦課徒之所。時朱子講學云谷，筑此以便往還憩息。潭溪在崇安五夫里，榦從朱子游，實始于其地，故名其精舍仍曰“潭溪”，以示毋忘始授業之地。

——清道光《建陽縣志·卷十六》

潭溪書院，即黃勉齋先生祠。在崇泰里莒口河壩。宋淳祐十七年，黃勉齋構草堂于此。明嘉靖八年，知縣薛宗鎧改為書院。天啟六年，重修。崇禎六年，御史劉公以勉齋第三子輹、孫選二墓俱在莒口，乃分環峰書院優免之半，以奉祭祀。清乾隆庚申毀于火。癸酉，欽奉高宗純皇帝諭旨，特頒內帑一千兩鼎新重建，以門人潘柄、楊復、何墓、饒魯配。辛亥，圮于水。嘉慶甲子，仁宗睿皇帝復頒帑金七百兩重修。

——民國《建陽縣志·卷八》

潭溪書院位于莒口河壩村，黃榦建，今廢。黃榦（1152—1221），字直卿，閩縣人，是朱子的高足兼女婿。朱門四大高足之一，潭陽七賢之一。

潭溪精舍的創建年代，據明代史學家晉江何喬遠的《潭溪精舍記》一文記載，是在南宋慶元二年（1196）。“創于宋寧宗慶元二年。襄朱子往來云谷，先生構草堂為憩息之所”，潭溪精舍是朱子往來云谷山的晦庵草堂時休息之所。取“潭溪”之名，是因為黃榦最早在五夫的紫陽書堂學習，紫陽書堂前的溪流即為潭溪，黃榦在建陽莒口建精舍命名“潭溪”，是為了紀念他在五夫的那段時光，也為了表達對朱夫子的感念，“以示毋忘始授業之地”。

雖然潭溪精舍草創于慶元二年，但朱子與黃榦等人的《文集》都未記載，方彥壽先生認為： “（慶元黨禁）風聲日緊之時，朝中甚至有人發出要將朱熹問斬的叫囂。此時，朱熹本人雖對此泰然處之，但作為朱熹的愛徒和女婿的黃榦，卻不能不為恩師的安危深感擔憂。為此，他在莒口河壩秘密地建造了一間草堂，以備情況危急之時可做為躲避權宜之所”。

嘉定九年（1216）三月，此時朱子已去世16年，黃榦聚門徒于潭溪精舍講學，著書立言，《重修潭溪黃氏宗譜·卷二》載黃榦在此撰有《精舍春祀講義》一書。

黃榦后來安排三子黃輹定居莒口。大德元年（1297），黃榦的孫輩黃銘在莒口師事熊禾。熊禾、胡廷芳、劉應李是極好的朋友。劉應李曾撰《潭溪精舍記》。記文所載潭溪書院深三十余丈，寬十余丈。北面則仰望云谷書院，南面則俯視莒潭及市井墟集。往上游，則去邵武，往下游，則到建陽。又有路通西山，道接書坊。離考亭也就三十多里，所以朱子常來常往， “文公以親故，嘗往云谷，亦嘗憩于斯”。

宋亡之際，元兵燒毀書院。

明嘉靖六年（1527）巡撫張衡、巡按御史汪珊、江以達、縣令薛宗鎧為嘉志崇儒，改潭溪精舍為書院，但不久即被毀壞，“無何，流寇肆毀，止存門外與兩廡而已”。

明天啟五年（1625），巡撫南居益給書院贈匾，要求恢復，于是知縣謝秉謙主持重建。重建后的書院，“華棟緣云，飛陛凌空，嵯峨崔巍，豐麗博敞”，中堂祀黃榦像，左設官廳，并配有食堂；右立生祠，祭祀有功于祠堂的建陽的父母官。后堂則祭祀歷代祖先。同時，黃氏家族送了二人給督學使者考察，王瀠、何萬化考察后，給環峰書院的黃元穩、潭溪書院的黃申兩人以秀才的待遇。建陽知縣薛宗鎧、魏時應給書院置田產。

崇禎四年（1631）建陽縣教諭南京工部侍郎何喬遠，寫下《潭溪書院原記》，記文之后，又特為潭溪書院撰聯：

慕道德于英韶，越境求師兩月，而衣不解帶，早見當仁之勇；

抒學術于經濟，臨邊捍圉百雉，而邑有寧人，大振用世之才。

崇禎六年（1633），一位姓劉的御史考慮到黃榦的第三子黃輹、孫子黃選二墓都在莒口，就將環峰書院免除的租賦、力役等勻出一半給潭溪精舍。

清乾隆五年（1740）八月，潭溪書院毀于火；乾隆十八年（1753），乾隆帝拿出一千兩的國庫銀子重建書院；乾隆五十六年（1791），毀于水；嘉慶九年（1804），嘉慶帝拿出國庫七百兩的銀子重修；后年久失修，至1958年大煉鋼鐵時拆除。