此时已经是寒冬腊月，北风凛冽、冰寒刺骨，和对面身披兽皮御寒的辽军不同，宋军大都穿的是麻衣，士兵们手抖得连弓都拉不开。即便是颤颤巍巍的射出了箭，力道和准度也大打折扣，这些稀稀疏疏的箭矢根本无法形成足够的杀伤力，辽国骑兵很快就逼近了过来。
既然拉不开距离，宋军就只能和对方骑兵贴身肉搏。血战从早晨一直持续到了下午，萧绰太后源源不断从后方派出援军加入战场。
在交战中宋军一直处于下风，但一直在勉力支撑。在这关键时刻却有人当了逃兵，宋将桑赞见敌方势大，提前率部退出了战场，这立即造成了宋军战阵的缺损，使得君子馆数万宋军顿时陷入了辽军的重重包围。
但在此时，宋军仍然没有放弃希望，因为他们在苦苦等待跟进的宋军——李继隆的后军部队。而他们不知道的是，其实李继隆早就到达了战场，在发现敌方人数众多后，紧急转身向后，迅速退往了乐寿（河北献县）。
这可就害苦了在君子馆拼死奋战的宋军将士。一支支契丹生力军骑兵轮番上阵越战越勇，对宋军战阵进行高强度的反复冲锋，他们拎着长枪带着极高的撞击力，每一次都重重砸在宋军的军阵上，而又冷又累的宋军将士只是靠着一股信念在咬牙坚持，拼了命地用盾牌和长枪抵住。到了傍晚时分，宋军再也支撑不住，数万人的军队被骑兵彻底冲散，再被分割包围后逐步吃掉。
战争激起的烟尘遮住了夕阳，砍杀声、马蹄声中掺杂着士兵死亡前的哀鸣。随着夕阳的落下，君子馆之战也随之落下帷幕，刘廷让全军覆没，损失达六万余人，高阳关守将杨重进、益津关守将李敬源皆沙场殉国。在亲兵的拼死护卫下，身负重伤的主帅刘廷让只身突出了重围。
辽国方面此战也是惨胜，国舅详稳挞烈哥、宫使萧打里等多位辽军高层战死，战死者四万余人。硬生生吃下宋朝禁军这支最后的精锐，也让辽国付出了沉重的代价。战后，辽军残忍地割下宋军将士头颅，在君子馆筑成一座座高大的“京观”以炫耀武威。
此战之后，南下宋朝的大门全面敞开，辽军趁势连克深州（今河北深州市）、束城县、祁州（今河北安国），他们在这些地方连日纵兵劫掠。在达到了报复宋朝的目的后，辽军志得意满地班师北返。