1938年3月,廖被破格提拔爲200師少將參謀長。當年9月,200師在湖南湘鄉擴充爲國民革命軍新11軍,旋改爲第5軍,廖任該軍所轄新22師副師長兼軍幹訓班主任,因師長邱清泉未到職,代理師長之職。
1939年9月,第5軍奉命南下廣西,發起昆侖關戰役,新22師作爲該師主力,奪占昆侖關並全殲日本守軍6000余人,廖因此被譽爲抗戰英雄。之後,新22師被調往雲南,負責滇西一帶的守衛。
1942年3月,廖耀湘將軍率新22師作爲中國遠征軍第5軍的一部赴緬甸與日軍作戰,在斯瓦戰役中重創日軍第55師團。不料當時全盤戰局,突然與遠征軍不利,英方有放棄緬甸的計劃,盟軍決定全部退出緬甸。新22師在歸國之路被日軍切斷的情況下,曆盡千辛萬苦進入印度。
1943年3月,在印度比爾哈省的藍迦,廖耀湘將軍的新22師與孫立人將軍的新38師組成了中國駐印軍新1軍,鄭洞國將軍任軍長,總指揮爲美國陸軍四星上將史迪威將軍。緬甸北部是熱帶樹林,經常有野人出沒,而被稱爲野人山。野人山全爲原始密林之高山,極爲險惡,大部隊難以補給,重武器亦無法使用,日軍精銳18師團55聯隊以小部隊構築據點逐山防阻,在野人山中到處可以見到第5軍病困而死將士的白骨,常常是一堆白骨圍著槍架而坐,這裏躺著中國遠征軍近5萬具遺骸。就在這樣困難的情況下,新1軍擊敗了日軍精銳18師團,自己的損失也非常大,所有的連級幹部基本上換了一遍,可見戰鬥之殘酷。
當時滇緬路已經被日軍封鎖了一年,中國急需要打出一條國際的交通路線來,以取得盟國物質援助和加強抗戰力量,統帥部決定現行反攻緬甸,修築一條由一度直達昆明的中印公路(後稱史迪威公路),以達得當時的迫切需要。於是新1軍開始了緬北反攻,新1軍在1943年的初冬季節打通了野人山,繼而血戰大龍河,殲滅胡康河谷的日軍,攻克於邦,破天險踏入孟拱河,偷渡南高江,奇襲西通,攻取加邁,掃蕩庫芒山,攻克孟拱,新1軍一路斬關奪隘,節節勝利,日軍主力聞風喪膽。
1944年8月,在孟拱之戰、密支那攻防戰勝利結束後,新1軍分成兩個軍,廖耀湘榮升新6軍軍長,下轄李濤新22師及龍天武新14師;孫立人榮升新1軍軍長,下轄李鴻新38師、潘裕昆新50師及唐守治新30師。新1軍及新6軍爲緬北反攻戰役的勝利作出了傑出貢獻,共殲滅日軍數萬人。
1945年4月,在國軍抗戰中最著名的雪峰山大戰中,爲保證戰役的勝利,蔣介石委員長特命令陳納德將軍的第14航空隊將全副美械裝備的廖耀湘新6軍3萬多人空運到芷江作爲戰役的總預備隊,保證了芷江會戰的勝利。
芷江會戰勝利後,《美國紐約時報》發表評論說:“芷江會戰勝利佳音,可視爲對日戰爭轉折之暗示。”不久,這段評論就被言中。1945年8月15日,日本天皇裕仁接受《波茨坦公告》,宣佈無條件投降。
抗戰勝利後,一個重要的問題是接收南京,史迪威的接任者魏德邁將軍說:日本現在很囂張,他並不認爲他們失敗了,到南京去受降,部隊應該有一種威懾力量。現在中國部隊有威懾力量是新1軍和新6軍,新1軍還沒有回國,新6軍就在芷江,就在空軍基地。到南京幾個鐘頭航程就行了,應該讓新6軍去。
1945年8月21日,以侵華日軍總參謀副長今井武夫爲首的日軍代表飛臨新6軍當時的所在地湖南芷江向蔣介石國民政府乞降,中國人民經過八年艱苦卓絕的艱苦抗戰,終於贏得了最後的勝利。幾天後,廖耀湘將軍率新6軍奔赴南京,接受日軍正式的對中國戰區的投降,讓日軍投降的心服口服。
第2次國共內戰爆發後,新6軍被調往東北戰場。廖率領新6軍於1946年1月抵達東北,到5月,他已經佔領長春等地,但是之後被林彪等人的遊擊戰法拖住手腳,未能北渡松花江。1947年8月,新6軍與新3軍組成第9兵團,廖出任兵團中將司令,此後,東北戰局發生逆轉,第九兵團逐步被壓縮回瀋陽一帶。
1948年9月,遼沈戰役開始,中國人民解放軍包圍錦州,希望切斷東北戰場國軍部隊的退路。廖奉命前去解錦州之圍未果,被解放軍反包圍於黑山、大虎山一帶。10月26日,廖耀湘部被全殲,本人被俘。
廖被俘之後,長期關押于北京功德林戰犯管理所,1961年12月25日被特赦出獄。後擔任全國政協文史資料委員會專員。文化大革命中遭到打擊,1968年12月2日在批鬥會上心臟病突發而逝世於北京。