建陽縣童游鄉回瑤洪尾村人。兄弟三人，慕祥最小。他家無田，僅有三間破漏屋，全靠佃耕過活。四歲時，母親勞累過度病逝，父親憂郁成疾，也于次年逝世。慕祥從小就跟哥哥參加田間勞動。

民國33年(1944年)，剛成年的二哥慕嫩被抓去當兵，從此杳無音信。民國37年1月，慕祥也被抓去，編入縣保安隊，派駐建陽縣黃坑鄉。

1949年5月下旬，黃坑解放，慕祥毅然加入中國人民解放軍，隨部隊轉戰江西，廣東、廣西等省，參加殲滅國民黨政府軍廣西白崇禧集團軍戰役。1951年3月，他加入抗美援朝行列，參加著名的第一次戰役。隨后調到志愿軍一三五團二營機槍連當通訊員。1952年10月，上嶺戰斗打響，參加師部輪訓隊學習的慕祥要求回部隊參戰。10月20日凌晨，英雄黃繼光在597.9高地戰斗中英勇犧牲。由于戰友壯烈事跡激勵，他回營部，要求到黃繼光生前戰的六連參加戰斗，接任六連六班班長的職務。慕祥白天守坑道口，有時照顧傷病員，晚上管領戰斗小組襲擊敵軍，并隨時做好反擊準備。10月3日，我下達大反擊命令，六連的務是攻取597.9高地主峰。入夜，突擊部隊沖向敵軍陣地，沖在最前頭的六班戰士離主峰3號陣地只有50米，被敵軍集的火力所封鎖，部分戰士負傷、犧牲，慕祥也多處負傷。連長準戰斗時機，果斷地下令“爆破”!一個戰士沖上去犧牲了，第二個戰士提起手雷往前沖，負傷倒下;第三個戰士正要向前沖，慕祥大喊一聲:“我去!”此時，連長看到慕祥兩次負傷，不同意他上，周圍戰士也都相爭要上。慕祥大吼道:“我一定得去，我是共產黨員，是黨考馬我的時刻!”連長終于同意他上，命令機槍手從兩側吸引敵軍火力，掩護慕祥。此刻，敵軍火力點的輕重機槍交叉成扇形，猛烈掃射。慕祥時左時右，忽而奔跑，忽而匍匐，艱難地向敵靠近。突然，陣地上升起照明彈，敵軍機槍直朝他掃射，慕祥突然倒在陣地上。但他很快就拖著再次負傷的身軀，繼續前進，把手雷塞進火力點，狡猾的敵人迅速地將手雷推出來。慕祥手上只剩一顆手雷，為了不讓敵軍把手雷推出來，他抱著手雷滾近敵方碉堡。“轟”地一聲巨響，敵軍最后一座堡壘飛上了天，通往597.9高地的通道打開了，呂慕祥為世界和平事業，為中朝人民獻出青春。

中國人民志愿軍領導機關授予呂慕祥特等功，并追認為志愿軍二級戰斗英雄。