张孝杰，建州永霸县人。家境贫穷，好学。重熙二十四年(1055)，擢拔进士第一。
清宁年间，累迁为枢密直学士。咸雍初，因误奏事情获罪，出贬为惠州刺史。不久召回恢复原职，兼知户部司事。三年(1057)，任参知政事，同知枢密院事，加工部侍郎。八年(1062)，封陈国公。道宗因为孝杰勤勉干练，多次向他询问事务，任北府宰相。汉人之中无人可比其贵显宠幸。
大康元年(1075)，赐给国姓。次年秋猎，皇上一日之中射得三十只鹿，宴饮从行官员。酒至尽兴，命孝杰做《云上于天诗》，诏令孝杰坐于御榻旁边。皇上朗诵了《离黍》诗：“知我者谓我心忧，不知我者谓我何求。”孝杰奏道“：当今天下太平，陛下何忧？皇上您富有四海，您又何求？”皇上大喜。三年(1077)，群臣侍宴，皇上说“：先帝任用仁先、化葛，因为他们贤德有才智。我如今有孝杰和乙辛，不在仁先、化葛之下，确实是用人用得得当。”畅快地饮酒，直到深夜才撤席。
这年夏天，乙辛诬陷皇太子，孝杰与他同力相助。及至乙辛受诏究治皇太子党人，诬蔑陷害忠良，孝杰之谋划居多。乙辛推荐称赞孝杰忠于社稷，皇上说孝杰可与狄仁杰相比拟，赐名为仁杰，又准许他放海东青鹘。六年(1080)，皇上既已出贬乙辛，也醒悟到孝杰也是奸佞之辈，不久出贬为武定军节度使。因私自贩卖广济湖盐以及擅自涂改诏书获罪，削去爵位，贬为安肃知州，几年之后才回。大安年间，在家乡死去。乾统初，被剖棺戮尸，并将其家族的财产分赐给臣下。
孝杰久居相位，贪求财物，贪得无厌，当时与亲戚相聚饮酒，曾经说道“：没有百万两黄金，不足以称为宰相之家。”当初，孝杰中了进士，前往佛寺，忽然一阵疾风吹落了孝杰的幞头，与佛像平齐，坠到地上便粉碎了。有个老僧说“：此人必定会骤然贵显，然而也不得善终。”最终如其所言。