原名旭，避神宗諱，改字晹叔。建陽(yáng)三桂里(考亭)人。北宋景佑元年(1034年)進(jìn)歷任封州(今屬?gòu)V東)知州、漢陽(yáng)軍(今屬湖北)知軍。后調(diào)朝廷，任監(jiān)察御史，右司諫，居舍人等職。他在朝中任諫官5年，所上奏有一百數(shù)十事。一次升之上奏章，認(rèn)為昭文館、賢院是士大夫榮升途徑，近用人越來(lái)越背棄慣例，變成貴族做官進(jìn)取的階梯，請(qǐng)求嚴(yán)格選拔人才。皇帝下令:“自今，臣僚乞?yàn)樽訉O恩者，無(wú)得除館閣。”有一次著作佐郎王瓘路遇節(jié)度使承佑未下馬，承佑大聲怒斥王瓘，并將他押送到開(kāi)封府。升之為此上奏:“朝官遇見(jiàn)殿帥何必下馬讓路”，彈劾承佑驕橫放肆。朝廷免去承佑殿帥官職。升之因此提為天章閣待制，歷任河北都轉(zhuǎn)運(yùn)使，瀛州(今河北河間)知州，真定府(今河北保定)知府，加龍圖閣直學(xué)士。

不久，升之再入朝任諫官，與翰林學(xué)士承旨孫汴、代御史中丞張昪共同考核轉(zhuǎn)運(yùn)使和提點(diǎn)刑獄官的勞績(jī)過(guò)失，得升樞密院直學(xué)士。年余，又升開(kāi)封府樞密副使。這時(shí)諫官御史唐介、范師道等人聯(lián)合上奏，告升之暗中勾結(jié)宦官，才得到重用。仁宗皇帝把奏章交與升之，升之不置一詞，請(qǐng)求辭職。仁宗雖對(duì)輔佐政事的近臣說(shuō):我選用執(zhí)政大臣，怎容臣僚干預(yù)言論呢?但最后還是對(duì)雙方都予貶斥，升之以資政殿學(xué)士身份出任定州(今河北定縣)知州，不久調(diào)太原知府。治平二年(1065年)升之第三次入朝，任樞密副使。后因母老，請(qǐng)求外放，授知越州。

熙寧元年(1065年)，升之赴朝繼任樞密使，兼任制置三司條例司之職，和王安石共事，商討推行變法。當(dāng)年十月，翰林學(xué)士王安石被神宗召見(jiàn)，安石上書(shū)主張變法，薦升之任宰相之職--中書(shū)門(mén)下平章事、集賢殿大學(xué)士。尋因升之與王安石對(duì)設(shè)置三司條例司看法不一，且新法受朝臣反對(duì)，便托病歸臥百余日。神宗幾次敦促勸諭，才回到朝廷。適遇母喪，升之去相，回家守孝。服喪期滿，升之于熙寧七年十二月回朝廷任樞密使。不久因病解職，以同平章事銜出任鎮(zhèn)江節(jié)度使、揚(yáng)州通判，封秀國(guó)公。次年閏四月罷歸建陽(yáng)考亭。家居四年有余，在元豐二年(1079年)病逝，終年69歲。朝廷贈(zèng)太保、中書(shū)令，謚號(hào)“成肅”。