皇甫绩字功明，安定朝那人。
祖父皇甫穆，魏国的陇东太守。
父亲皇甫道，北周的湖州刺史、雍州都督。
皇甫绩三岁就成了孤儿，为外祖父韦孝宽所养育。
他曾与诸位表兄下棋，韦孝宽因他懒于学业，对他很严，但可怜他是孤儿，年纪又小，特别原谅他。
皇甫绩叹气说：“我没有父母教训，养在外祖父家，如不克己律己，自我勉励，怎能成人？”他十分激动，让别人打他三十棍子。
孝宽听说此事，对着他流泪。
他于是精心好学，略涉经书史书。
北周武帝在当鲁公时，引皇甫绩为侍读。
建德初，他转任宫尹中士。
周武帝曾在云阳宫避暑，当时周宣帝为太子、监国。
卫刺王造反作乱，京城城门已关上了，百官多有逃遁者。
皇甫绩听说大难，急忙赴难，在玄武门遇上皇太子。
太子下楼来，拉着皇甫绩的手，悲喜交集。
武帝听说此事，嘉奖皇甫绩，升他为小宫尹。
宣政(578)初，录他前后功勋，封他为义阳县男爵，授他为几伯下大夫，累功转任为御正下大夫。
周宣帝去世后，隋高祖总理万机，皇甫绩对此有功，这事记载在《郑译传》里。
升为上开府，转任内史中大夫，晋爵为郡公爵，食邑千户。
不久授他为大将军。
开皇元年(581)，出京任豫州刺史，增加食邑，连前总共二千五百户。
继而授他为都官尚书。
几年后，转任晋州刺史。
将赴任，跪拜高祖说：“我实在平庸，见识浅，对国家无益。
因此常想赴难以报国家的大恩。
现在陈国还在，按我看来，有三个条件，可以灭他。”皇上问其缘故，皇甫绩回答说：“以大吞小，这是一；以有道伐无道，这是二；接纳陈国的叛臣萧岩，对我国有供词，这是三。
陛下若命鹰扬之将，我请求参加其中，出点头发丝那么大的小力。”皇上嘉奖其壮志，慰劳他，而打发他去。
平定陈国后，授他为苏州刺史。
高智慧等人在江南造反，苏州州民顾子元发兵响应，因此让他进攻皇甫绩。
两边相持了八十天。
顾子元一向感激皇甫绩的恩典，在冬至日，派人送上牛肉和酒。
皇甫绩在给顾子元的信里说：“皇上承受天命，与神灵相通，受禅于北周，抛弃干戈。
大隋国东边超过了蟠木，东方朔也未去过；西边包括了流沙，张骞都没去过；北边到黄龙府之外，与各酋长来往；南边到了葱岭、榆关，那里的百姓下跪，请求派官吏去治理。
金陵的百姓，死而复生；吴郡、会稽的臣民，白骨上又出生了肉。
你们只应感恩戴德，放声歌唱，怎能够自比疯狗，反咬主人。
你不是我的臣民，何必尽上酒之礼？我是大隋国的将领，何必与你搞外交？即便是易子析骸，也未能相告，何况你是足食足兵，高城深沟，你只需坐待援兵，对付我就绰绰有余了，何必劳你学着轻薄的风俗，说些假话，想阻拦我这个忠臣的心，白白地想迷惑我军骁雄的大志呢？想用这些来指望我们放了你，那是不可能的。
你要好好地想想你的活路，并晓谕百姓，如能迷途知返，现在还不晚。”顾子元得到书信，就在城下叩头认罪。
杨素的援兵也到了，合兵打破了叛军。
授皇甫绩为信州总管、十二州诸军事。
不久因病请求退休，有诏调他回京，赐他御药。
宫中的使者去看望他，络绎不绝，相望于道。
在家中去世，时年五十二岁。
谥号叫“安”。
他儿子皇甫亻思继承爵位。
大业年中(605～616)，皇甫亻思官至尚书主爵郎。