进攻后敌人的进攻就没什么力气了。在抗五军弹药充足、有比较好的工事前面日军的进攻伤亡是相当大的更何况屁股后面还有抗五军在骚扰。
尽管日军的飞机来帮忙炸了不少房子但作用毕竟有限。我军是有防空经验的有射击飞机的能力敌人飞机是不敢飞到太低了攻击的。而飞在高处就不能对相距不远的前沿阵地帮什么忙了。到第三天以后日军已经不是在进攻了而是处于忙于防御了。他们的精力已经不是用于对付赤峰市更不是曾经计划过要的北上了而是要打通他们的运输线了。可是在这种抗五军要打就打打不了就跑的战斗时间、地点都由抗五军来决定的而且袭击敌人运输线的是三万正规军！敌人护送运输队的部队根本不够他们打的。攻城的部队想派两个大队的部队南下接应运输队结果也被伏击了死伤一半人。
在进攻赤峰市的第二天日军觉得攻击顺利国内的报纸上又吹了起来什么抗五军老巢指日可下抗五军溃不成军。国内照例又搞了些游行什么的。但再下去几天形势就不行了。
现在热河的形势又变成了我军最拿手的游击战结合赤峰的阵地阻击战。而进攻热河的日军没有什么弹药后这进攻也就有气无力了。而运送弹药成了非常困难的事日军没想到抗五军怎么不是把部队都放到赤峰市里面而是放到了他们的屁股后面！
如果说围攻赤峰的头两天日军与抗五军的伤亡比还有五比一左右在第三天以后就变成七比一、九比一……。到了第六天以后关东军总部吵成一团有人说要再抽调东三省的部队去赤峰一定要把它攻下为止！但参谋部算了一下如果要这么干需要抽调的部队还要三个师团以上。而日军要付出的牺牲估计还要二万名以上；就算占领了赤峰也不能消灭抗五军。他们理论推演的结果最多也只能消灭抗五军二万这样。
不过这些人中也有头脑还算清醒的知道必须撤兵了东北的日军那儿还有部队可以再抽调？辽宁等三省的抗日义勇军知道现在热河正在大会战士兵有不少抽调走了所以都在到处打击日军各地日军都向总部要人呢。如果从国内征兵、再送到热河别说国内的缓进派这一关过不了就算是现在开始征兵等他们到了热河这儿赤峰前面的日军早成了一堆白骨了。
是进是退？为了这两种意见的讨论日军又在赤峰前面拖了两天这每天都是几百日军死亡、几千日军受伤的代价！
最终日军司令作出了撤退的命令。这个时候他们用的密码也有些已经被情报大队破译了赤峰的部队与关东军总部的电报内容抗五军知道了一些知道他们部队的供给困难也知道他们大概是怎么个撤退方案。财迷这时下了命令让抗五军“热烈欢送”日军！日军的撤退抗五军一般只是骚扰性的“欢送”可这次有了军部的指挥和命令大家都扬了“痛打落水狗”的精神。
这个撤退中少粮食、少弹药的日军又付出了相当大的代价。开始时还能说是撤退后来不如说是溃败。他们的伤兵什么的本来是安排先走的但后来那些后面撤退的部队逃得更快这些伤兵也不要了留下来给逃亡部队当掩护了。可怜日军没有弹药这些日军伤员连自杀都要三个人叠一起共同享用一颗子弹。
日军部队没什么弹药是个大问题他们倒是想与我军拼刺刀可惜有弹药的抗五军不陪他们玩（咋就一点儿没有李云龙的精神呢？）。日军的撤退原计划用二天但在我军的围堵、袭击下进行了三天半。这三天半中日军的伤亡达到一万六千多人几乎相当于这次战斗前面部分的总和我军一直把日军“欢送”到了承德、凌源等城市并把这城市边上的几个据点也扫了一下。
五月四日这次赤峰战役终于结束了。开始对徐辉总司令的指挥有点看法的人在最后有三天放开了大打出手有这么多收获后也没了意见。
关东军的脸皮真是够厚的他们对国内宣称战无不胜的关东军已经打下了赤峰达到了这次战斗的目标给抗五军以沉重打击教训了热河的反满抗日武装。他们号称在这次战役中消灭了抗五军六万多他们自己伤亡为七千多另外失踪数千。
不过也只有他们国内的一些人才把这些战报当成真的。连6军和日军大本营的军官们也知道了这次战役的实际损失有多大。几天后关东军不得不把包括左翼军队损失的赤峰战役实际情况报告了上去。机械化旅团的全部坦克、战车都损失了人员死亡六千多、受伤（指较重伤轻伤的就不算在里面了）一万多另有一万多名官兵失踪现在“正在络绎回归”中。！