朱滔、王武俊发动叛乱，打算到魏州救援田悦，朱滔派蔡雄到定州，游说张孝忠一起举兵，张孝忠回复道：“李惟岳叛逆，我张孝忠归顺朝廷，如今是个忠臣。我性子直，既然效忠朝廷，就不会再反叛。我与王武俊都是胡人，又一同共事，对他非常了解，他这个人反复无常。司徒您以后一定会想起我这番话的。”朱滔又赠以金帛，张孝忠仍拒绝起兵。
当时，义武军位于幽州军与成德军之间，四面受敌，张孝忠修建战壕、堡垒，鼓舞将士，丝毫不受朱滔二人的蛊惑，受到时人的称赞，朝廷加封他为检校左仆射，将他的食邑加到三百户。后来，张孝忠受到朱滔的攻击，朝廷便派神策兵马使李晟、中官窦文场前去救援，张孝忠与李晟戮力同心，终于保住义武军，使叛军不敢深入。
泾原兵变，唐德宗逃往奉天，李晟欲回师勤王，张孝忠正陷于朱滔和王武俊威胁下，一直不让李晟离开。李晟让儿子李凭娶张孝忠之女，又解下玉带贿赂张孝忠的亲信，才得以带兵西归，张孝忠也派大将杨荣国率六百精兵随李晟西入关中，李晟收复长安时，杨荣国也立下战功。
河北地区发生蝗灾，因战乱方平，百姓都无积蓄，以致饿死无数。当时，张孝忠以身作则，每顿只吃干豆，属下也都吃些粗劣的食物，人们都很佩服他的勤俭，称他为‘贤将’。唐德宗加张孝忠为检校司空，并将女儿义章公主嫁给其子张茂宗，张孝忠让妻子昧谷氏到长安迎接公主，受到唐德宗的厚赏。张孝忠在部将的迷惑下，入侵蔚州，虽然很快便退回，但仍被以擅自兴兵为罪名，削去检校司空之职。
张孝忠病逝，终年六十二岁，唐德宗辍朝三日以示哀悼，册赠太傅、太师、赠魏州大都督，追封上谷郡王，赐谥贞武。