字子實，改字元履，號艮齋，又號錦江。南宋建陽招賢里(今徐市鄉)人。幼年拜胡憲為師，和朱熹友好，到各地游學，盡交先達明士。屢試不第，回鄉途中寄寓衢州(今屬浙江)知府章杰家，適遇前任宰相趙鼎因編管吉陽軍(今屬廣東崖縣)絕食而死，歸葬常山(今屬浙江)過衢州。章杰素來對鼎有成見，迎合秦檜意旨，逮捕其家屬，報請治罪。唯之出于義憤，遺書責備章杰，憤然辭歸，筑“艮齋”，隱居讀書，

乾道初年，朝廷下詔，令各路薦舉隱逸賢士。福建路監司長官芮燁將淡之德行上報朝廷孝宗皇帝特予召見，淡之辭不赴。宰相陳俊卿力薦，扶之始以平民身分入朝，向孝宗說治理

國家大計，孝宗皇帝欣然接受，賜他同進士出身，授任太學錄。乾道四年(1168年)之就職，一反過去學官不與學生接近、養望自高的陋習，每日親授課程，注重德育，并請得公款40萬緡，修葺宿舍。上書說:國家的教育，應先培養學生的道德品行和經學知識，其次使學生學到治理國家的知識。今專以空談選人，實非良策。但未予上報。又寫信給宰相陳俊卿，責其不能糾正這種歪風。終以迎親為名，請歸故里。走后數日，朝廷授予臺州(今屬浙江)教授。談之嘆道:“君如此，而吾學不足以感憾圣意。”從此，每天居于“艮齋”，條理舊學，以求更加完善。

在鄉里，他參照古社倉法，請官府撥米糧，于青黃不接之時以低息貸給鄉親，收成后，繳納歸倉，因此窮苦百姓得以度過荒年。建陽各鄉創辦社倉，從之開始。他體恤親友故舊，迎養千里之外的伯父，并養其遺孤。捐資埋葬無嗣的親朋死者，數以千計。他要求政府改除停棺不葬惡習。其與人交往，無不真心誠意地褒揚別人的善行，針砭別人的過失。

之于乾道九年閏月病逝，終年58歲。同年7月葬于徐市長坂村(今長灘)。孝宗皇帝追贈他直秘閣。其代表作有《戊午讜議》。