在當時的全部陸軍中，除198師外，只有戴安瀾的200師、廖耀湘的新22師、孫立人的38師等六個師。他本人曾經獲得民國政府和美國政府頒發的各種勳章。自14歲起就投在葉佩高旗下的王楚英，把他的默默無聞歸結爲他的素性淡泊、鄙薄名利，“只知實幹而不求聞達，也不讓別人宣揚他的業績，尤其拒絕傳播媒體對他的採訪和報道”。

　　1931年10月，葉佩高於陸軍大學畢業後，與同期的10幾位同學前往位於江西撫河的第18軍幹部補習所，擔任學員隊的中校隊長，他在補習所的主要任務就是訓練學員隊裏的排連長戰術作業和新式武器的運用。不久，他升任上校大隊長，繼又調任第52師的上校團長、第3路軍總指揮部作戰科上校科長。1933年7月，與葉佩高交往甚密的11師31旅旅長黃維升任師長後，便推薦了葉佩高擔任第11師的少將參謀長，這是葉佩高加入國民黨嫡系王牌部隊的軍旅之始。此後他與11師這個部隊一起戰鬥達六年之久。

　　1937年4月，葉佩高於陸大講習班結業後改任第11師33旅少將旅長。同年5月，他被正式授予陸軍少將軍銜。

　　1937年7月7日，盧溝橋的日軍以演習士兵失蹤爲名悍然對中國發起瀘溝橋事變，遭到中國軍隊第29軍的頑強抵抗，抗日戰爭全面爆發。

　　葉佩高將軍所率領的11師33旅此時正駐防於韶關至衡陽之間的平漢鐵路沿線，擔負護路和築路任務。瀘溝橋事變爲葉將軍獲悉後，他立即上書18軍軍部，請求軍長羅卓英向軍事委員會請命開赴河北參加抗日。在得到軍委會的同意後，第33旅於8月5日出發乘坐火車向保定集結，未料在8月13日抵達武漢時，中日兩國又在上海地區爆發了淞滬會戰，軍委會急命第18軍所屬各部改開南翔，準備加入滬戰。

　　8月22日，第33旅在經過武勝關、信陽、漯河、許昌、新鄭、鄭州、開封、徐州、蘇州後終於抵達南翔，當部隊剛下火車後，葉佩高旅長即接到第11師師長彭善的命令，命令33旅立即開赴“一二·八”紀念路以東構築工事，向東南方警戒。

　　8月23日，日軍第11師團22旅團在川沙成功登陸，並乘中國守軍第56師的防禦疏忽，一舉突破該師防線，繼而奪占了無中國軍隊駐防的羅店。羅店在當時雖只是一個不足千戶的小鎮，但是羅店卻是瀏河至大場和嘉定至吳淞、寶山的重要交通樞紐，是上海北郊中日雙方比許爭的軍事要點。羅店一失，則會使淞滬戰場西北門戶洞開、京滬交通線受到威脅。由於淞滬戰場最高指揮部的疏忽，使得日軍未花任何代價既奪此軍事要點。此事被在前線指揮作戰的第9集團軍總司令張治中、第15集團軍總司令陳誠獲知後極爲震驚，他們經過商定後決定在顧家宅集結11師、大場集結98師，並以在嘉定集結的67師、炮兵16團統歸18軍軍長羅卓英指揮，對川沙登陸之敵予以反擊，力求殲滅該股日軍。而羅卓英分配給11師的任務就是奪回羅店。

　　當時的11師轄有王嚴的31旅和葉佩高的33旅，第31旅在抵達南翔後就被調給了87師，受87師師長王敬久的臨時指揮。所以當師長彭善接到命令後，其所屬之葉佩高33旅就擔負起了收復羅店的重任。

　　23日下午14時50分，第11師師長彭善下令進攻後，葉旅長親自率領第33旅官兵前仆後繼的奮勇衝殺。在師直山炮營支援下，33旅官兵經過近兩小時的激烈戰鬥，其所屬第66團終於在16時30分突破日軍陣地，收復羅店。羅店收復後，第33旅被調往新鎮、月浦地區，準備進攻該處江面之日軍。而第33旅在葉佩高旅長的指揮下，數次擊退了日軍第43聯隊的進攻。

　　就在第33旅擊退了當面日軍的進攻時，奉命接替33旅羅店陣地的67師201旅也遭到日軍的猛烈進攻。戰鬥中，第201旅旅長蔡炳炎壯烈犧牲，羅店再次爲日軍佔領。而奪回羅店的任務再次落到了11師33旅的肩上。

　　8月27日，第33旅向羅店發起攻擊，同時31旅在其側翼對羅店東南地區進行佯攻，試圖吸引日軍兵力，減輕33旅正面負擔。隨後第33旅又在得到友軍67師的支援後於28日拂曉攻入羅店。第31旅也于此時插入羅店以北之陸家村，切斷了羅店日軍與其主力部隊的聯繫。日軍對於羅店的重要性也十分明瞭，所以駐守羅店的日軍在飛機大炮的配合下對攻進羅店西面的11師、67師部隊猛烈反撲。11師33旅官兵與67師官兵奮力抵擋，終因兩翼友軍退卻，所部過於突出，被迫於9月7日退出了羅店。

　　第33旅在進攻時曾四次攻入羅店，後兩次在友軍皆潰、孤軍奮戰的情況下又一度奪回羅店三分之二地域。其旅長葉佩高也因此戰倍受第18軍官兵景仰。羅店之戰，雙方往來拉鋸爭奪，戰況十分激烈。戰後，中日雙方將這次戰鬥稱之爲“血肉磨坊”，以示這次戰鬥的之慘烈情況。

　　第33旅在奪取羅店失敗後被部署在羅店東南地區，與友軍遙相策應阻擊來犯日軍。此後，該旅又又在蘊藻浜沿岸阻擊日軍，並主動發起進攻，一度孤懸敵後奮戰數日。在大場失陷後，第33旅又奉命守備裴家橋、顧家浜、洛陽橋、羊馬巷一線陣地，並阻擊日軍第13師團5000余人達數十天，使得當面之日軍第13師團無法前進半步。此後旅長葉佩高利用日軍側翼空虛的機會，果斷率領所部於10月31日拂曉發動突然襲擊。使日軍措手不及，於是中午紛紛潰退，第33旅乘勢收復豐莊。

　　由於日軍在淞滬戰場陸續增兵，中國守軍已從先前的主動進攻改爲被動防守。鑒於前線情況已不利於中國軍隊，於是最高當局命令在上海作戰的中國軍隊逐次撤退。11月10日晚，第11師33旅奉命轉移至安亭，隨後在吳淞江北岸挫敗了日軍的追擊，於入夜後撤往常熟。

　　當第33旅抵達常熟後，正值友軍第13師在花園裏、周家橋陣地遭受日軍猛攻。第11師師長彭善緊急命令33旅迅速增援。當該旅抵達目的地後，旅長葉佩高發現攻擊13師之日軍左翼最爲薄弱。於是立即率領所部攻擊日軍左側，出人意料的殲滅了日軍第44聯隊部，該聯隊長和知鷹二隻身倖免。這一未預料到的戰果迅速減輕了13師正面的壓力，並使常熟以東戰局趨於穩定。

　　在常熟增援順利完成任務後，第33旅又奉命接替友軍第13、32、98三個師的陣地，並要掩護這三個師陸續後撤。以一旅兵力去接替三個師的陣地，其困難程度不言而喻，葉旅長在給手下兩個團長佈置任務時也覺得十分勉強。所幸的是，第33旅當面之日軍在於中國軍隊第13、32、98三個師的連續作戰中也急需補充休整，所以並未對當面的33旅發動猛烈攻勢，只是在遠處以槍炮回擊。於是葉旅長也就利用這個機會在夜幕下順利掩護友軍撤退，並在完成任務後於11月20日撤往無錫與第11師師部會合。

　　11月22日，正當第33旅移至無錫東郊準備休整時，突奉師長彭善急電，令33旅迅速救援查橋鎮的友軍第13師37旅，該旅正遭受日軍猛烈攻擊，很有被擊潰的可能。第33旅趕到查橋鎮後，葉旅長首先命令65團的先頭營肅清了公路上的日軍，然後以65團向鎮內發動衝鋒，以66團迂回日軍右側翼。在鎮內與日軍混戰一小時後，終於擊潰日軍，第33旅勝利與37旅會師。

　　此後，第33旅又奉命撤往廣德東郊佈防，旋又奉命移交防務於川軍第21軍。11月27日，由於第21軍被日軍擊潰，第33旅已無守備廣德週邊的必要，於是撤往甯國，繼又開赴徽州整訓。

　　第33旅在整個淞滬會戰中共計傷亡官兵1500余人，實力損失過半。但是這個旅在旅長葉佩高的指揮下，與日軍數度激戰，並屢次挫敗日軍的攻勢，解救友軍於危難之際，使11師這支王牌勁旅的名聲逐漸在日軍中宣揚起來。而葉佩高亦獲得了華胄榮譽獎章。

　　1938年元旦，葉佩高被授予雲麾勳章和幹城獎章各一枚。這在18軍當時授勳的38名軍官中，只有四個人能有既得勳章又得獎章的殊榮。同時，他所率領的第33旅還被獎勵了一萬元獎金。十天後，第11師副師長方天調職，作爲第33旅少將旅長的葉佩高因在淞滬會戰中的優異表現而被提升爲副師長。

　　葉佩高將軍在晉任副師長之後，主動兼任第18軍幹部訓練班副主任一職，主持幹訓班的實際工作。他在對學員的授課時，經常宣講18軍的歷史和“愛護民衆、達成任務”的傳統，並且積極推廣18軍的老軍長陳誠所制訂的“四大公開”（即人事、經理、賞罰、意見公開）和“三個一體”（即官兵一體、軍民一體、友鄰一體）兩大方針。同時，他還注重對學員教授《曾胡治兵語錄》，以統一全軍幹部“帶兵、練兵、用兵”的思想，使幹部們能對如何帶兵、如何作戰有更進一步的認識。

　　曾在葉將軍所主持的幹訓班學習的王楚英老先生這樣回憶到：“他講的許多話，雖然已時過60多年，有些警句我仍然銘記於心，永不忘懷。葉將軍其實是最不擅于辭令的將領，但是他一旦開講了，卻如行雲流水般自然又流暢，最能吸引聽衆。他講話從來不談高深的理論，而是講出聽衆所喜聞樂見的事實和道理。他那嚴格遵守時間的習慣，大衆化、士兵化的作風，很受學員門的歡迎和稱讚”。這段回憶，應該是對葉將軍的教學風格最爲生動的描寫吧。

　　1938年2月，日本陸軍大本營企圖對位於徐州的中國軍隊第5戰區司令長官部駐地進行南北夾擊的作戰。而爲了策應友鄰第5戰區的作戰，第11師所屬的第3戰區從1938年2月起先後命令駐蘇南、皖南各部，積極對敵展開遊擊戰，並成立了以原第2戰區副司令長官黃紹竑爲總司令的第3戰區遊擊總司令部。

　　早在第11師駐防于甯國時，當時的第33旅旅長葉佩高就提出了以第11師教導隊爲基礎組建突擊隊的議案。此刻，當第18軍接到了開赴敵後打遊擊的命令後，即將當初葉旅長的這個議案加以執行，編組第16突擊總隊，任命原第14師的營長榮孝雨擔任總隊長。同時還決定，該總隊由第11師副師長葉佩高負責訓練。

　　第16突擊總隊初轄兩個大隊。這兩個大隊分別由第18軍所屬11師教導隊和18軍所屬其他各師抽調的部隊所改編，並抽調第16軍團部的直屬部隊編組工兵隊、偵察隊和通訊隊，作爲突擊總隊的直屬單位。葉將軍在視察完這個總隊後，爲適應實際需要，遂又將該總隊改編爲三個大隊，總隊部改轄偵察、通訊、特務各一個排。

　　部隊整編就緒後，葉將軍親自對總隊幹部講授遊擊戰術，他提倡“敵進我退，敵退我追，敵駐我擾，敵疲我打”的靈活戰術方針。在經過了葉將軍一周的訓練後，這個總隊由第16軍團軍團長羅卓英直接指揮，開赴安吉、長興、宜興、溧陽、郎溪、宣城、廣德地區開展敵後遊擊。該總隊曾在龍洞橋重創日軍第4聯隊第2大隊，擊斃第2大隊大隊長松井上三郎以下207人；又在泗安公路成功伏擊第2後備步兵團的輜重部隊，擊毀日軍汽車12輛，擊斃日軍38人。此外，第16突擊總隊還在上述遊擊區域內屢次摧毀日軍據點、偷襲日軍補給基地，戰果頗豐。日軍爲了解決這個突擊總隊，決定在1938年5月中旬以第2後備步兵團第4聯隊和第23聯隊的一個加強大隊南北夾擊，企圖殲滅第16突擊總隊。

　　日軍企圖爲羅卓英獲悉後，立即命令第16突擊總隊迅速轉移，並將該總隊交由第11師副師長葉佩高將軍指揮，並附以第11師31旅和師直部隊對駐當地的日軍實施反攻擊。葉副師長受命後，以11師師直部隊、第31旅和第16突擊總隊編組爲“蘇皖支隊”，以第31旅旅部改編爲支隊指揮部，與第31旅旅長梅春華共同辦公。

　　5月14日，葉佩高率領“蘇皖支隊”抵達廣德南部山區楊灘，隨後召開軍事會議，針對日軍在當地部隊的駐防情況，決定首先攻擊日軍防守最爲薄弱的鳳橋。鳳橋距楊灘僅25公里，汽車運輸一小時即可抵達，而鳳橋駐軍僅爲日軍第23聯隊第3大隊的一個加強中隊220餘人。

　　葉將軍在軍事會議中決定以第31旅61團爲主攻部隊，以第31旅62團和第16突擊總隊擔負阻援任務。支隊炮兵於5月15日淩晨5點正，對駐鳳橋的日軍發動突然炮擊，使正在酣睡的日軍傷亡過半。隨後葉將軍命令部隊迅速從鳳橋村的三個方向突入，經一個半小時的激烈戰鬥，第61團全殲該加強中隊，擊斃中隊長前田正治以下68人，俘虜日軍134人（內有傷兵108人）。日軍在得悉鳳橋被圍時，急以第4聯隊的兩個中隊分兩路救援，但是皆在途中被“蘇皖支隊”的阻援部隊截擊，傷亡慘重，被迫撤回原防。

　　“蘇皖支隊”在取得首戰大捷後，指揮官葉佩高將軍即佈置兵力於廣德附近積極備戰，以準備面對日軍可能發起的反攻。5月20日，日軍果然以第147聯隊一個加強大隊爲主力發起反撲。由於葉將軍部署得當，“蘇皖支隊”利用當地地形於21日午後成功的伏擊了第147聯隊的先頭部隊，擊斃日軍中隊長高井芳衛以下124人，日軍聯隊長原田良夫見勢不妙，即命令部隊撤回，擬作休整後再次反撲。

　　但是葉佩高將軍卻不給日軍以喘息之機，他在取得了廣德反擊戰的勝利後，又將目標指向了甯國。甯國雖僅駐有日軍第106騎兵大隊第4中隊100餘人，但是離甯國約60多公里的宣城卻駐有日軍第147聯隊主力約兩個大隊的兵力，甯國守軍如遇襲可以立即得到宣城日軍的增援。爲了能順利收復甯國，葉將軍決定以第16突擊總隊佯攻宣城，造成我軍有乘鳳橋之勝收復宣城的假像，牽制第147聯隊，達成第31旅收復甯國的目的。

　　戰鬥於5月23日拂曉打響後，日軍第147聯隊長原田良夫果然中計，在城外據點被中國軍隊攻佔後即龜縮城內不出，反要駐在甯國的騎兵中隊來救援宣城。葉佩高見日軍中計後立即命令31旅對甯國發起攻擊，經兩個多小時的作戰，全殲第106騎兵大隊的第4中隊，擊斃中隊長茶村秀男以下53人，俘虜56人、戰馬97匹。甯國被收復後，葉將軍命令第16突擊總隊立即撤出戰鬥，集結甯國。

　　由於葉佩高將軍所領導的“蘇皖支隊”在鳳橋、廣德、甯國接連取得勝利，並將甯國至廣德、歙縣的交通線打通，爲第31兵站分部給各單位的的後勤補給提供了有利條件。5月26日，葉將軍在甯國接到了第19集團軍總司令羅卓英將軍的嘉獎電，電文中說到：“第11師副師長葉佩高親率第31旅和突擊總隊，連日以來，連克廣德、甯國，予敵重創，尤其在鳳橋和三裏店全殲敵軍，繳獲甚多，殊堪嘉許。特頒發獎金5萬元，以示鼓勵。有功官兵，著即具報，敘授勳獎。”

　　1938年6月29日，日軍攻入彭澤，守軍第167師不支敗退。是日傍晚，正在祁門集結待命的第11師接到收復彭澤的命令。第11師師長彭善在接到命令後，由副師長葉佩高率領第31旅和33旅66團先行出發。由葉將軍指揮的部隊于7月1日抵達目的地。7月2日晨4時許，葉將軍指揮所部趁日軍尚未察覺的機會，率先在炮火的掩護下向彭澤的日軍發動進攻。激戰至中午，參加攻擊的部隊相繼佔領彭澤週邊日軍據點。此後師長彭善率領的後續部隊也趕到戰場加入戰鬥，將日軍壓迫在城內。

　　7月3日，日軍在得到了增援後由第111旅團旅團長山地亙親自指揮，向第11師33旅陣地發動猛烈反攻。戰鬥中，副師長葉佩高與第33旅旅長王嚴皆親赴前線指揮作戰，挫敗了日軍的此次反擊。

　　當11師正計劃進一步攻擊時，整個戰局卻忽然急轉直下。同時11師也接到了新的命令：“第18軍立即停止對彭澤城、中夾口敵軍之進攻，乘夜迅速轉移……，由黃維軍長統一指揮第11、第16、第60師和第77師，圍攻龍潭山、梅蘭口地區之敵而殲滅之，確保湖口東郊安全”。

　　第11師在接到新命令後於7月3日黃昏出擊，副師長葉佩高在綜合各項情報後，推斷出日軍的薄落環節，於是在與師長彭善商量後，葉將軍親率33旅直搗日軍第123聯隊部，傷其聯隊長木島袈裟雄，擊斃師團部參謀藤田信夫以下87人，同時還搗毀了日軍山炮第2大隊的陣地。隨後，葉將軍一面派遣部隊追擊逃敵，一面組織突擊隊將負隅頑抗的日軍全部殲滅。

　　7月3日午後，日軍以第136旅團長青木敬一親率第145聯隊，並附以野炮第106聯隊、獨立山炮第12聯隊、工兵第106聯隊向第11師陣地發動攻擊，企圖將第11師33旅一舉擊潰。但是第33旅在葉副師長的指揮下，使用埋伏、襲擾、阻擊等方式，給日軍第145聯隊不斷的打擊，經過一個晚上的戰鬥，第33旅擊斃日軍大隊長以下300余人，迫使日軍第145聯隊退出戰鬥。

　　7月4日，第11師在三裏鎮稍事休整後又奉命進攻位於梅蘭口的日軍第113聯隊。當時正值雨季，加之氣候惡劣，能見度極低。第11師利用這個情況猛然突入日軍陣地，給日軍一個措手不及，其前沿陣地盡被11師奪取。第11師在突擊得手後遂將預備隊投入戰鬥，一舉奪取梅蘭口。31旅既而又會同友軍第16師48旅對潰退之日軍進行追擊，並且攻佔了日軍另一據點龍潭山。

　　就在31旅與48旅奪取龍潭山時，日軍第145聯隊分乘登陸艇、裝甲汽艇在海軍的掩護下向湖口城南之三裏鎮攻擊。日軍的這行動嚴重威脅到在沙灣劉與日軍激戰中的33旅側背安全。

　　此時第11師師長彭善正在軍部開會未歸，副師長葉佩高得知這個情況後，在31旅尚未歸建、33旅有遭受前後夾擊的危險時，冒險抽調33旅66團去阻擊145聯隊。第66團在經過三個多小時阻擊後，終於堅持到了31旅的回援，並擊退了日軍第145聯隊的進攻，擊斃第2大隊長福島以下300餘人。11師這一冒險舉動不僅解救了自身安危，同時也爲困守湖口的友軍第26師得到空隙得以突圍。戰後軍委會授予副師長葉佩高四等雲麾勳章，以表彰他在這次戰鬥中的功績。

　　8月27日，日軍第9師團突破了中國軍隊第30集團軍的鯉魚山、筆架山陣地。第9戰區司令長官部急調第18軍增援，而隸屬於18軍的第11師奉命將牛金山、北極峰、岷山大屋之日軍第36聯隊陣地奪回。其中第31旅在副師長葉佩高的率領下於9月3日發起攻擊，經兩小時激戰，31旅61團攻克牛金山、北極峰，殲敵300餘人。4個小時之後，日軍集結1000餘人猛烈反撲，31旅傷亡劇增。在此危急時刻，葉副師長投入預備隊第62團第3營，命令該營繞行至該股日軍背後實施突然襲擊，終於將其擊潰。同時，第62團主力終於攻佔了岷山大屋。第11師開始全線攻擊，並收復了原先第30集團軍所丟失的所有陣地。

　　9月4日，丟失了陣地的日軍以第35、36兩個聯隊進行反擊。師長彭善、副師長葉佩高此時都認爲日軍第36聯隊已在昨天遭到痛擊，戰力肯定受損，於是決定以第66團單獨抵禦日軍第36聯隊的攻擊，集中主力三個團和師直屬部隊對日軍第35聯隊進行逆襲。經過一天血戰，第11師終於將第35聯隊擊潰，第36聯對見35聯隊敗退，於是也開始了撤退。次日，葉副師長率領第65團由側翼對日軍第36聯隊發起攻擊，配合第11師主力部隊兩面攻擊，再次將第36聯隊擊敗。

　　第11師在與日軍第36聯隊的三天激戰中，取得了三戰三捷、殲敵800余人的戰果。此後，第11師奉命接替友軍新編第35師的陣地，並與日軍第7聯隊作戰十多天，終於在9月24日因部隊損傷過大而離開了武漢會戰的戰場。

　　11月2日，第11師開赴湖南翁江，開始了長時期的整訓。此時師長彭善因家有喪事請假離職，由葉佩高副師長暫行師長職權。鑒於第11師在武漢會戰中損失過重的情況，葉代師長首先對補充部隊的新兵加強軍事訓練，並且對全師官兵宣傳愛國思想。12月間，11師曾準備開赴前線參加南昌會戰。但是在抵達嶽麓山後又被調赴後方整訓。

　　1939年5月，彭善升任第18軍軍長，由代師長葉佩高正式接任師長。由於葉佩高並不是出身於黃埔軍校的學生，他的接任受到了許多在11師出身黃埔的嫡系軍官的抵制。他們認爲：11師做爲陳誠的嫡系部隊，其主官只有黃埔軍校出身的幹部才有資格接掌，其他軍校的人根本不予考慮。但是在抗戰爆發後，葉佩高在師長彭善麾下屢立戰功，成爲彭善離任後接掌11師的理想人選，這個理由暫時使得葉佩高座上了第11師的師長寶座。

　　葉佩高正式接掌第11師師長後，爲樹立威信，遂親自深入各團各連隊指導部隊訓練，並要求各團長親自對所部官兵特別是軍官，進行“第11師的歷史和傳統”的教育，培養他們加強團隊精神，提高戰鬥力。同時，他從連排中選擇優秀幹部分批推薦他們報考中央軍校。雖然11師在葉佩高擔任師長時期未參與作戰，但是作爲師長的葉佩高卻爲第18軍培養了許多優秀幹部，並且爲11師在今後的戰鬥中仍能保持優秀人員的素質做出了應有的貢獻。

　　葉佩高見11師當時大部分官兵都是師管區、補訓處和保安團補充而來，這些官兵缺乏嚴格訓練，素質參差不齊，還帶有保安部隊和補充兵的積習。爲了加強這些士兵的訓練，並統一思想作風，提高部隊紀律。於是他決定由參謀處擬定計劃，並召集全師連以上幹部，親自宣講訓練計劃的內容要求和實施要領，要求各級幹部拿出打仗的勇敢和智慧，不辭辛苦地把這次全師的訓練抓緊搞好，爭取在一到兩個月內將部隊戰鬥力提高上去。在會議結束前，葉師長宣佈成立第11師幹部教導大隊，他自兼大隊長，以示對教導大隊的負責。

　　葉將軍的這些措施原本已穩定了部屬的情緒，但是他卻並未料到他所辛苦打下基礎，被一位新到任的副師長給破壞了。這位新任副師長姓胡名璉，原本是11師的老幹部，官至11師少將團長。淞滬會戰時被調出11師擔任67師的旅長，此番回11師當副師長就是本著能夠接任11師師長的目的而來的。胡璉到任後發現了11師所屬各團的團營長與師長葉佩高之間有著某種不和諧的情緒産生，於是他利用了這種關係聯合三位元團長共同抵制師長葉佩高，並使“11師應由黃埔出身的幹部才能帶領”的呼聲從新滋長起來。這些反對聲浪使得18軍的老長官陳誠也無法維護葉佩高的地位，終於迫使他於1940年4月離開了11師這支隊伍。

　　葉佩高在離開11師後並沒有被委以重任，僅挂以第18軍軍部附員的閒職度日，這對一心想率部抗日的葉佩高來說無疑是一個極大的打擊。

　　就在葉佩高處於其軍旅生涯的最低谷時，他於六個月後，即1940年10月初，收到了一封其摯友黃維將軍的來信。原來黃維已由軍校教育處長調任第54軍軍長，希望葉佩高能出任54軍參謀長一職，輔佐黃維。這一喜訊使得葉佩高喜出望外，於是在經過調職申請後立即奔赴雲南上任。

　　葉將軍到任第54軍參謀長後的第一件事就是協助並策劃平衡54軍所屬三個師的戰鬥力。當時第54軍下轄第14、50、198三個師，其中第14師原屬第18軍序列，是標準的中央軍嫡系部隊，所部裝備精良，官兵素質頗高，極具戰鬥力；其次是第50師，這個師原爲地方部隊，後逐漸爲陳誠所掌握的土木系所嫡系化，其裝備戰力略差于第14師；而另一個198師就不像前面兩個師那樣了。

　　第198師原爲湖南省的地方保安隊改編而成，其成分大多爲湘西農民，因成軍不久，兵員素質極差。爲了能迅速提高該師戰鬥力，經由葉參謀長提出，黃軍長同意，遂決定將198師的兩個建制團分別納入第14師和第50師，而將第14師和第50師各抽調一團編入第198師。這樣不僅使三個師的戰鬥力達到基本平衡外，還讓54軍各部之間的人事容易交流，能達到同舟共濟、協同作戰的目的。同時，也達到了使198師嫡系化的目的。

　　此後葉將軍爲軍長黃維出謀劃策，努力提高部隊戰力貢獻頗多。1942年11月，原第198師師長鄭挺鋒調職，於是軍長黃維便推薦了葉佩高參謀長繼任第198師師長，使他重又執掌軍權。1943年9月，第198師開赴祥雲整訓。同年12月，該師被納入遠征軍編制，並於次年5月作爲54軍右翼軍參加了滇西反攻作戰。

　　葉師長率領之198師在滇西的第一仗是負責對灰坡、北齋公房的日軍據點發起攻擊。該師以592團擔負主攻任務，經數天戰鬥，第592團損失慘重，遂由594團替換攻擊。不料594團在進攻時，其團長覃子斌不幸中彈身亡，部隊攻擊受挫，被迫停止攻勢。

　　對於覃子斌團長的殉國，葉師長悲痛萬分，在追悼會上慷慨陳詞，激勵全師官兵奮勇作戰消滅日寇，爲國爭光，爲覃團長報仇。隨後葉師長親臨前線指揮戰鬥，士氣爲之大振。第二天拂曉，第198師再次組織兵力，通過正面猛攻、側面奇襲的方式，奮勇前進，終於將日軍在貢山的重要據點——北齋公房攻克，完成了上級給予的任務。而198師在此次戰役中，陣亡團長1人，營長7人，連、排、班長犧牲者近百，損失不可謂不大。

　　在198師主力攻佔既定目標的同時，葉師長另以第593團抽調兩個營組織特遣隊深入敵後，奇襲日軍補給點——橋頭和馬面關。這支特遣隊在593團團長廖定藩的率領下於5月16日黎明發動突然襲擊，其中第2營奪取了橋頭日軍據點之糧秣被服倉庫；第3營攻擊馬面關，截獲日軍的騾馬輸運隊。

　　橋頭、馬面關的奇襲行動，打開了遠征軍全局勝利的契機，嚴重破壞了日軍第56師團的後勤補給。但是這一行動也使日軍第56師團作拼死一搏，集中兵力對中國軍隊第20集團軍所屬各部發動猛烈反撲，第198師在經過一個多月的反擊阻擊，終於將當面日軍擊潰，同時亦解救友軍預備第2師的危機，並於6月16日協同友軍第36師徹底攻佔橋頭。

　　第198師在橋頭捷報後，亦遭受一定損失，部隊已呈疲態。然而全師在葉師長的激勵下，毅然放棄休整，以驚人的毅力繼續向當面日軍發起進攻，並於7月初進抵騰沖，加入到圍攻騰沖的戰鬥中。

　　騰沖位於騰沖平原中央，城牆方圓4公里、高約5米，寬約2米，爲明代以大青石條快砌成。城內守敵爲日軍第148聯隊長主力2025人。

　　7月2日，第20集團軍發起攻擊命令後，各路部隊對騰沖週邊日軍據點發起猛烈進攻。其中第198師配合友軍第116師攻佔5830高地，隨後又與日軍在飲馬河發生激戰，在肅清城外日軍據點後，該師於7月27日加入到攻城戰鬥中，並於8月6日炸開城牆與友軍一起攻入城內。

　　但是由於城內日軍火力配置複雜，進攻陷入僵局。葉師長在經過戰地偵察後認爲騰沖城西北兩面地形開闊不宜強攻，遂於8月15日請示上級改變部署，以198師對城南發起攻擊。此舉收到了極大效果，迅速將城內日軍壓縮至城西北、東北地區。葉師長則因此一提議於9月1日升任第54軍中將副軍長。

　　此後，第198師官兵在城內與日軍血戰40餘天，經過反復爭奪、白刃肉搏，仍奮勇衝殺，終於在9月14日會同友軍將城內日軍全部殲滅。然而在這次戰鬥中，第198師傷亡達6000餘人，其中第592團2營5連全連殉國，第593團甚至將團部、營部非戰鬥單位遍組爲雜兵連投入了戰鬥。

　　第198師在與友軍共同收復騰沖後因所部損失慘重，遂由副軍長葉佩高率領開赴八莫、遮放地區擔負地方守備，並開始長期整訓。從此，葉將軍離開了抗日戰場，再未參加過對日作戰。葉將軍在率領所部參加滇西反攻的4個多月中，屢立戰功，爲遠征軍與駐印軍勝利會師創造有利條件。葉將軍不僅被升爲54軍副軍長，且獲得美國總統杜魯門的勳章，遠征軍司令長官衛立煌也提請軍委會頒發青天白日勳章與葉將軍。其率領之198師亦獲得“飛虎旗”一面，以表其彰。當時的騰沖縣長張向德在呈報雲南省政府《騰沖反攻前後情況報告》中寫到：“反攻期間之軍紀以第198師爲最佳”，這也是對葉佩高在戰時約束部隊軍紀成效的一種肯定。

　　1946年春，國共和談破裂，內戰爆發，其中尤以山東戰場之戰事最爲激烈。此時，葉佩高將軍跟隨著54軍由廣州開赴山東，加入到與八路軍的戰鬥中。在經過膠濟、膠東諸役後，54軍連占高密、平度、安邱、萊陽、煙臺、牟平、海陽等地，打通了國民黨在膠濟鐵路的交通運輸線。

　　1947年7月，第54軍改稱爲整編第54師，葉將軍改任整編第54師副師長。同年8月，整54師主力改稱第35軍開赴東北作戰，留所屬整36旅駐膠東，並以葉佩高將軍另組整編第54師師部，由葉將軍擔任師長，擔負戍守膠東之重任。

　　葉將軍在上任後除維持所占地區的治安外，還將山東保安部隊改編爲整編第270旅，國防部又調整編第7旅加入序列。葉將軍所率領的3個整編旅都是全副美械裝備，訓練優良，其中尤已整36旅歷史悠久，戰力最強。然而這些部隊人事派系各不相同，加之葉將軍非黃埔嫡系將領，使得他在整54師師長任內又遇到了在11師時期的難堪。1948年整54師移防青島後，第11綏靖區司令官劉安祺爲加強自身勢力，遂欲將整54師收歸己下，於是利用各種矛盾排擠葉佩高，所幸整54師中的主力部隊——整編36旅的將領與葉將軍關係親密，且多人爲其老部下，始終沒能使劉安祺得逞。

　　但是國民黨當局在全國各大戰場已是接連戰敗，而國民黨內部又呈現如此權利爭奪的弊端，遂使葉將軍心灰意冷，對前途深感絕望。於是在1948年10月整54師改稱第50軍後不久即提請辭職，這正中劉安祺下懷，於是立即批准其辭職。

　　葉將軍在辭職後前往南京改任國防部中將部員，每天無事可做，只領幹餉。不久他移居上海，上海解放前夕，他舉家遷往臺灣，仍以部員的虛職挂名。終於在1965年被臺灣“國防部”宣佈退役。1968年，葉佩高攜眷移居美國新澤西。其晚年患老年癡呆症，幸得子女孝順，由其子女輪流照顧。1987年8月31日，葉佩高在其次子葉湘濤家中夢逝，享年86歲。

　　葉將軍有子女8人，其中3人爲其前妻劉瓊花所生，皆留大陸。另5人爲其第二位夫人王潤支所生，跟隨葉將軍前往美國定居。

　　葉佩高死後被安葬于美國費城馬德蘭墓圓。他在臺灣的舊屬聞得噩耗時，自發組織攥寫紀念文章，並彙集出版《葉佩高將軍紀念專集》。2002年，他的舊部曹英哲、王楚英等人合著《抗日名將葉佩高》一書在香港出版，以示緬懷和表彰他們的老上級——葉佩高將軍在抗日戰爭中的功績。