1938年3月,廖被破格提拔为200师少将参谋长。当年9月,200师在湖南湘乡扩充为国民革命军新11军,旋改为第5军,廖任该军所辖新22师副师长兼军干训班主任,因师长邱清泉未到职,代理师长之职。
1939年9月,第5军奉命南下广西,发起昆仑关战役,新22师作为该师主力,夺占昆仑关并全歼日本守军6000余人,廖因此被誉为抗战英雄。之后,新22师被调往云南,负责滇西一带的守卫。
1942年3月,廖耀湘将军率新22师作为中国远征军第5军的一部赴缅甸与日军作战,在斯瓦战役中重创日军第55师团。不料当时全盘战局,突然与远征军不利,英方有放弃缅甸的计划,盟军决定全部退出缅甸。新22师在归国之路被日军切断的情况下,历尽千辛万苦进入印度。
1943年3月,在印度比尔哈省的蓝迦,廖耀湘将军的新22师与孙立人将军的新38师组成了中国驻印军新1军,郑洞国将军任军长,总指挥为美国陆军四星上将史迪威将军。缅甸北部是热带树林,经常有野人出没,而被称为野人山。野人山全为原始密林之高山,极为险恶,大部队难以补给,重武器亦无法使用,日军精锐18师团55联队以小部队构筑据点逐山防阻,在野人山中到处可以见到第5军病困而死将士的白骨,常常是一堆白骨围着枪架而坐,这里躺着中国远征军近5万具遗骸。就在这样困难的情况下,新1军击败了日军精锐18师团,自己的损失也非常大,所有的连级干部基本上换了一遍,可见战斗之残酷。
当时滇缅路已经被日军封锁了一年,中国急需要打出一条国际的交通路线来,以取得盟国物质援助和加强抗战力量,统帅部决定现行反攻缅甸,修筑一条由一度直达昆明的中印公路(后称史迪威公路),以达得当时的迫切需要。于是新1军开始了缅北反攻,新1军在1943年的初冬季节打通了野人山,继而血战大龙河,歼灭胡康河谷的日军,攻克于邦,破天险踏入孟拱河,偷渡南高江,奇袭西通,攻取加迈,扫荡库芒山,攻克孟拱,新1军一路斩关夺隘,节节胜利,日军主力闻风丧胆。
1944年8月,在孟拱之战、密支那攻防战胜利结束后,新1军分成两个军,廖耀湘荣升新6军军长,下辖李涛新22师及龙天武新14师;孙立人荣升新1军军长,下辖李鸿新38师、潘裕昆新50师及唐守治新30师。新1军及新6军为缅北反攻战役的胜利作出了杰出贡献,共歼灭日军数万人。
1945年4月,在国军抗战中最著名的雪峰山大战中,为保证战役的胜利,蒋介石委员长特命令陈纳德将军的第14航空队将全副美械装备的廖耀湘新6军3万多人空运到芷江作为战役的总预备队,保证了芷江会战的胜利。
芷江会战胜利后,《美国纽约时报》发表评论说:“芷江会战胜利佳音,可视为对日战争转折之暗示。”不久,这段评论就被言中。1945年8月15日,日本天皇裕仁接受《波茨坦公告》,宣布无条件投降。
抗战胜利后,一个重要的问题是接收南京,史迪威的接任者魏德迈将军说:日本现在很嚣张,他并不认为他们失败了,到南京去受降,部队应该有一种威慑力量。现在中国部队有威慑力量是新1军和新6军,新1军还没有回国,新6军就在芷江,就在空军基地。到南京几个钟头航程就行了,应该让新6军去。
1945年8月21日,以侵华日军总参谋副长今井武夫为首的日军代表飞临新6军当时的所在地湖南芷江向蒋介石国民政府乞降,中国人民经过八年艰苦卓绝的艰苦抗战,终于赢得了最后的胜利。几天后,廖耀湘将军率新6军奔赴南京,接受日军正式的对中国战区的投降,让日军投降的心服口服。
第2次国共内战爆发后,新6军被调往东北战场。廖率领新6军于1946年1月抵达东北,到5月,他已经占领长春等地,但是之后被林彪等人的游击战法拖住手脚,未能北渡松花江。1947年8月,新6军与新3军组成第9兵团,廖出任兵团中将司令,此后,东北战局发生逆转,第九兵团逐步被压缩回沈阳一带。
1948年9月,辽沈战役开始,中国人民解放军包围锦州,希望切断东北战场国军部队的退路。廖奉命前去解锦州之围未果,被解放军反包围于黑山、大虎山一带。10月26日,廖耀湘部被全歼,本人被俘。
廖被俘之后,长期关押于北京功德林战犯管理所,1961年12月25日被特赦出狱。后担任全国政协文史资料委员会专员。文化大革命中遭到打击,1968年12月2日在批斗会上心脏病突发而逝世于北京。