明仁宗張皇后之季兄(明史中誤載為其弟),父親張麒,母親仝氏,兄長張旭、張昶。
隨從明成祖起兵靖難,以守北平之功,授義勇衛千戶,歷羽林衛前指揮僉事。永樂十二年(1414年),隨明成祖北征蒙古。明仁宗即位,任大舅子為後軍都督府都督同知。宣德四年(1429年),明宣宗特許舅舅張昇參與朝中大政議決,宣德九年(1434年)明宣宗北征,命他掌管都督府事,留守京師。明英宗即位,太皇太后令他不得參與朝政,楊士奇稱他賢能。
明英宗正統五年(1440年),封惠安伯,賜誥券,子孫世襲。次年,得病去世,終年六十三歲。
張昇歷事四朝,身居顯官,能自尊自愛。每遇大事,傾聽大家的建議。