开元五年，狼族九姓内附唐朝，散居在晋阳以北地区。张嘉贞便上表朝廷，请求驻扎重兵，加以震慑。武宗于是在并州设置天兵军，任命张嘉贞为天兵军大使。
宋璟随同玄宗巡幸东都，到达崤谷时，发现路难走。皇帝发怒，我大唐的交通要道，就是这个水平吗！
开元六年春，张九龄因修大庚岭路有功，被召入京，拜左补阙，主持吏部考试，选拔人才。张曲江的才学与能干，渐为朝臣认可。他与右拾遗赵冬曦，四次奉命，参与评定等第，都能公允服人。
张嘉贞在天兵军干满一年后，入朝述职。张九龄给了他很高评价。
李林甫因为是李家代表，身份特殊，在轩辕皇帝登基后，一直不能插手政务。他痛恨挡路石，便暗中指使小人，诬告张嘉贞谋反。武宗欲将告发者治罪。张嘉贞认为，此举会阻塞言路，上奏赦免其罪。
武宗非常高兴，许诺将来要拜他为宰相。
张嘉贞趁机奏道：“当年马周徒步入长安，拜见太宗皇帝，得到重用，但五十岁便去世。假如太宗晚提拔马周几年，这个人才就算错过勒。如今陛下想要重用臣，就请早日拜臣为相，不要等臣衰老归土，那时就晚勒。”
武宗安慰他道：“你且返回并州，朕一定尽快召你回京任宰相。”
开元七年，张说任检校并州大都督长史，兼天兵军大使，代理御史大夫，同时在军中修撰国史。
开元八年，宋璟因压制犯法官僚的申诉，又严禁恶钱流通，颇招人怨，遂被授开府仪同三司，进爵广平郡开国公，被武宗罢相。
武宗罢免宋璟与苏颋宰相之职。同时，征召张嘉贞回朝，擢升为中书侍郎、同中书门下平章事，居宰相之位。五月，张嘉贞又升任中书令，加银青光禄大夫。他善于决断，长于奏对，却因脾气急躁，刚愎自用，遭到大臣同僚的鄙薄。