招賢書院在興下里徐墩街。清同治乙丑四年，倪尚忠等倡建。民國丙辰五年，倪道南等修葺。

——民國《建陽縣志·卷六》

招賢書院在徐市街，興建時間是清朝的同治四年（1865）。

清同治年間，附貢生倪尚忠、拔貢生謝嘉樹、歲貢生楊思程、縣丞倪承熙等一批人，募捐錢款，興建書院。書院的規模宏大，樓宇巍峨。在為書院取名時，他們想到了徐市的人文蔚然，名流輩出：宋朝的艮齋先生魏掞之卜居玉田峰；明朝的御史陳紀著《玉溪文集》；明朝的監察御史王相居住筱嶺；清朝又有進士陳星奎，舉人陳崐、陳士哲等。徐市古稱招賢里，因此書院就稱“招賢書院”。

書院先后聘請鄭培厚、倪壽朋為山長，知縣湯箴衛也親自來授過課。

民國五年，即1916年，書院年久失修，特別是文昌閣，有倒塌的危險。于是，集眾人之力，重修書院。這一年袁世凱稱帝。

書院最后一任山長倪壽朋，倪壽朋就是徐市人。

倪壽朋，字子慶，號鶴舫，光緒十五年（1889）的貢生，任永福縣儒學教諭，后回徐市，主講招賢書院。1916年二月，建陽成立第一高等小學校，地點設在招賢書院，有兩間教室，可容六十人，一間校長室，一間教員室，一間接待室，還有禮堂、餐室、廁所。設施齊全。創辦人就是倪壽朋等人。

第一高等小學校后的文昌閣則是第二國民學校，也成立于1916年二月。

倪壽朋等人參與創辦第一高等小學校和第二國民學校。倪壽朋著作有《海鶴樓文集》《古香齋詩集》《鄉土志》《小學評選》。民國十二年（1923），建陽縣成立教育會，倪壽朋任會長。