将刘仁赡占据寿春，舒元占据紫金山，并以连珠寨为援，对抗后周部队。世宗派怀德率帐下亲信十几人去侦察敌军的营垒。怀德乘夜渡过淮水，天快亮的时候，敌人才发现并发动攻击，怀德以少击众，抓获他们的副将回来，并且把敌军的形势强弱侦察得一清二楚。世宗大为高兴，赐给他金带、银鞍勒马等以示奖励。有一天世宗正在淮州城墙上骑马慢行观察敌军情况，突然看见一将奋力追击着很多的敌军，还夺回敌军的长矛，忙派左右问这将是谁，原来就是高怀德。于是把他召过来慰劳他，并许诺将来定要拜怀德为节度使。显德六年（959）六月，世宗死，恭帝即位。七月，高怀德任侍卫军都指挥使，领宁江国节度使，与石守信同时建节。

因陈桥兵变有功，宋朝创建后，高怀德位于“诩戴”功臣第二，仅次于石守信，移领义成军节度使，并升任殿前都副点检。赵匡胤把自己的妹妹燕国长公主嫁给了怀德，是开国功臣中第一个皇亲国戚。扬州李筠叛变时，高怀德任前军副都部署，在泽州大败北汉军，俘获了北汉河阳节度使范守图。李筠叛变平定后，高怀德以功改忠武军节度使、检校太尉。开宝六年（973），加同平章事为使相。太宗初年，升为侍中，太平兴国四年（979）从太宗灭北汉，改彰信军（曹州，今山东省定陶西南）节度使，封冀国公。七年（982），改武胜军（邓州，今属河南）节度使。同年七月病死，终年五十七岁，追封渤海郡王，谥武穆。