张冲字思约，吴郡吴人。父亲张柬，曾任通直郎。张冲过继给伯父侍中张景胤，景胤小名查，父亲张邵，小名梨。宋文帝开玩笑地对景胤说：“查怎及得上梨。”景胤回答：“梨是百果之王，查怎能及。”
张冲从小就有至情至性，被征为州主簿，跟随堂叔张永为将，出任绥远将军，盱眙太守。张永征讨彭城，遇大雪降温天气，兵士脚胫冻断的有十之七八，张冲脚趾都冻掉了。出任尚书驾部郎、桂阳王征南中兵、振威将军。被任命为骠骑太尉南中郎参军，不受。调任征西从事中郎、通直郎、武陵王北中郎直兵参军、长水校尉，授宁朔将军，本官仍旧。又调任左军将军，加授宁朔将军、辅国将军。张冲少年起投身军旅，朝廷视他为得力干将，因此历任军校之官，出外任马头太守，又调任盱眙太守，辅国将军不变。永明六年(488)，调任西阳王冠军司马。永明八年(490)，为假节、监青冀二州剌史事，将军职务不变。张冲父亲亡故，遗命说：“祭我一定要用家乡土产，不要用牲物。”张冲在镇所，四季回吴园中取果菜，痛哭流涕地进献到父亲灵前。又调任刺史。
郁林王即位，张冲进号冠军将军。明帝即位，用晋寿太守王洪范取代了张冲。授黄门郎，加授征虏将军。建武二年(495)，敌虏进攻淮泗，任命张冲为假节，都督青、冀二州征北诸事，本官仍旧。敌人合兵攻打司州，朝廷下诏命青、徐二州出兵以牵制敌人力量。张冲派军队主帅桑系祖由渣口攻下敌人的建陵、驿马、厚丘三城，杀敌无数，获得许多战俘。又与洪范派大将崔季延袭击敌人的纪城，攻占了城池。张冲又派大将杜僧护攻克敌人虎坑、冯时、即丘三城，赶着牲口辎重凯旋，至溘沟时，敌人救兵到了，占据要道发起进攻，杜僧护率军力敌，击溃了敌人。
这年，张冲调任庐陵王北中郎司马、加授冠军将军，不受。丰城公萧遥昌为政豫州，皇上考虑到外敌未安，调派张冲为征虏长史、南梁郡太守。永泰元年(498)，任江夏王前军长史。东昏侯即位，出外任建安王征虏长史、辅国将军、江夏内史，掌管郢州府州事务。永元元年(499)，调任持节、都督豫州军事、豫州刺史，取代裴叔业。最后没有成行。第二年，调任都督南兖、兖、徐、青、冀五州、辅国将军、南兖州刺史，持节如故。正逢司州刺史申希祖亡故，任命张冲为督司州军事、冠军将军、司州刺史。裴叔业因他在寿春打胜仗，又任命他都督南兖、兖、徐、青、冀五州、南兖州刺史，持节、将军如故。都未受职。崔慧景事件平定后，诏征建安王萧宝夤还都，任命张冲为督郢、司二州、郢州刺史，持节、将军如故。一年之中，频授四州官职，这一次才受任。这一年冬天，进授征虏将军。加封定襄侯，食邑一千户。
梁王义师起事，东昏侯派骁骑将军薛元嗣、制局监暨荣伯领兵及粮草一百四十多船送与张冲，使之与西来义师抗衡。元嗣等受刘山阳战败的打击，疑心张冲不敢进攻，驻扎在夏口浦。闻听义师将至，元嗣、荣伯竞相逃入郢城。当时竟陵太守房僧寄被人取代职位回到郢，东昏侯命僧寄留守鲁山，任命他为骁骑将军。僧寄对张冲说：“我虽未受朝廷深恩，但得到过先帝的厚待。在树下乘过凉的不折这树的枝杈，我很想效微薄之力。”张冲很赞成这话，两人共结盟誓。于是分兵拒守。派大将孙乐祖率数千人帮助僧寄建堡垒据守鲁山。
第二年二月，梁王出兵沔口，围困鲁山城。派大将曹景宗等过江攻打郢城，未等全部过江，张冲派中兵参军陈光静等开城门出击，为义师击溃，光静战死，张冲在城中固守不出。曹景宗于是占据石桥浦，把军队绵延布成散兵线，下至加湖。东昏侯派大将巴西、梓潼二郡太守吴子阳、光子礻今、李文钊、陈虎牙等十三军救援郢郡，援军至加湖不能再前进，于是筑堡垒燃烽火，郢州城内也举火回应。但内外仅能自保不能相救。
张冲病死。元嗣、荣伯与张冲之子张孜及长史江夏内史程茂固守城池。东昏侯下诏追赠张冲散骑常侍、护军将军。假元嗣、子阳节杖。
江水暴涨，加湖城被淹，义师乘大船发起进攻，子阳等人大败而散，鲁山城粮草缺乏，军人在江边小石山捉小鱼吃，秘密地做了小船，准备逃奔夏口。梁王命偏军断其去路，以防他们逃掉。房僧寄病死，孙乐祖无计可施，举城投降。
郢城被围二百多天，士兵、百姓病死的有七八百家。鲁山战败后，程茂及元嗣等商议要投降，派张孜给梁王写信。张冲老部下青州治中房长瑜对张孜说：“前使君你父忠贯昊天，节操胜于松竹。郎君你应当坚持一致，以待时变。若天不佑我，我们这些人就听从你的安排，去追随使君。今若跟着这些人行事，不仅郢州百姓失掉对你家的景仰，恐怕敌人也看不起你啊。”鲁山被攻打两天后，元嗣等献城投降。
东昏侯任命程茂为督郢、司二州、辅国将军、郢州刺史，元嗣为督雍、梁、南、北秦四州、郢州的竟陵、司州的随郡、冠军将军、雍州刺史，二人并持节。当时郢、鲁二城已降，死者相积，竟没有叛逃的。时人以张冲及房僧寄来比况臧洪的被围。追赠僧寄益州刺史。
本史作者认为：当初石石昔弃子，发扬了大义灭亲的精神；鲍永后来投降了，明白了事奉新朝的节操。王奂忠诚无二，却身遭杀戮；张冲不知天意，在义军兴起时还糊涂守节。二人遭祸的情况虽不同，但都一样导致灭亡。
赞语：王奂为官北方，子孙未能立家。终于犯了大法，导致覆灭。张冲穷守堡垒，死人如麻。醒悟为时已晚，很值得评说。