张赫，临淮人。江、淮大乱时，他召聚义兵保卫家乡。嘉山缪把头招他前往，张赫拒绝了。当听到太祖起兵的消息时，张赫立即率兵前来归附。授予千户，因功晋升为万户。从太祖渡江，因功担任常春翼元帅，守卫常州。不久，从大军征战鄱阳，进攻武昌。此后，又从大将军徐达讨伐张士诚，围攻平江。各位将领分头驻扎，张赫的部队驻扎在阊门。张士诚多次出兵突袭，都被打败。又跟从大部队攻克庆元，攻下温、台等地。
洪武元年(1368)，晋升为福州卫都指挥副使，担任本卫同知，复命署都指挥使司事等官职。当时，倭寇在海岛出没，并乘机上岸掠夺，沿海居民深受其害。皇上多次派使者诏谕日本国王，又多次拒绝日本的贡使，但一直没有多大的成效。张赫在海上的时间较久，捕捉倭人不可数计。最后追敌至琉球大洋，与敌交战，活捉敌首领十八人，有数十人被斩首，缴获倭船十余艘，弓刀器械不计其数。皇上嘉奖张赫的战功，命他掌管都指挥印。不久，调至兴化卫。召回，晋升为大都督府佥事。当时辽东漕运艰难，军粮供应往往延期，皇上为此十分忧虑。命张赫开辟海运航道，督促海上运输事务。
较长时间后，张赫被赐封为航海侯，给予世袭的凭证。他前后往来辽东十二年，押运海运达十次，劳苦功高，部队的供给赖此而不缺乏。张赫病逝，追封为恩国公，谥号庄简。