“专打平南洋和游击队，收降山林队”的口号，企图从内部瓦解同盟军。9月开始，日军出动若干部队，配合伪靖安军等发起讨伐攻势。我军各部队化整为零，转入敌后，粉碎了敌人的秋季攻势。
1934年底，敌又开始进行冬季讨伐。重点指向东南山（二区）和西南山（三区），采取分割包围与游击战相结合的战术，企图诱我军决战。我军仍坚持游击战，与敌周旋。其中较大的战斗有岔沟、二道河子和猴石战斗。
1935年2月10日，根据党的指示和决定，绥宁反日同盟军改编为东北反日联合军第5军。原同盟军大部基本接受改编，至3月编成2个师，7个团，19个连，近千人。其中党团员占20％～30％。这支部队由此成为党直接领导的统一编制的抗日武装的基本队伍之一。
5军成立后，积极展开破袭战、伏击战，有力地打击了日伪军。较著名的战斗有石门子和二道河子伏击战。5军在作战中还大力进行宣传工作，连伪靖安军也出现厌战和动摇。伪军哗变屡有发生。5军声威日高，队伍不断壮大，仅1师就由200人扩充到千余人。
1935年4月，5军分析形势，决定组成两个派遣队，扩大游击根据地。东部派遣队，由军政治部主任胡仁率领东进。曾到达穆棱、勃利等地，与4军配合作战。西部派遣队，于1935年7月由副军长柴世荣率领西征，开辟额穆，敦化新游击区。其余留原地活动。
在哈东地区，1934年秋赵尚志率领的哈东支队，在哈绥路两侧的珠河、延寿、宾县、五常、双城等县相当活跃，建立起了以三股流为中心的道南游击区和以秋皮囤为中心的道北游击区。敌人污蔑这块抗日根据地是“共匪的哈东乐园”。在1934年秋季的讨伐中，哈东地区也是重点地区之一。日伪采用占点拉线，分段围剿的手段，企图将抗日武装分割歼灭。然而，敌之讨伐连遭败绩。
在11月的肖田地战斗中，我军歼灭日伪军百余人，敌人惊叹：此战“必有名将指挥”。然后我军化整为零，四处袭扰，敌人的秋季讨伐以失败告终。
11月以哈东支队为基础，正式组建成东北人民革命军第3军。军下暂编第1师（独立师），辖3个团。第3军刚刚成立，日伪又调集伪军千余人，展开对哈东地区的冬季讨伐。3军各团分别在各地区中打击敌人，其中1团在刘海涛率领下，在延寿新开道与伪警察大队的遭遇战中，将敌延寿县日军指导官击成重伤毙命。我军取得了冬季反讨伐的胜利。
3月初，赵尚志在方正与原自卫军李华堂部和土龙山救国军谢文东部等会合，经协商成立了“东北反日联合军总指挥部”，谢文东任军事委员长，赵尚志任总指挥，李华堂任副总指挥，3月8日，联合军450人突袭方正县城，之后，又东征牡丹江沿岸。
在锦热地区，自《塘沽协定》后，大股义勇军的活动基本消失。但蓝天林领导的“抗日灭满救国军”；郭文联的“仁义军”，李天德的热东义勇军，以及高鹏振、刘振东、周荣久等部仍然坚持斗争。1933年12月，一支声威大震的抗日军在热南诞生。这就是孙永勤领导的“民众抗日救国军”。1933年11月间，日伪强行收缴武器，兴隆县黄花川自卫团总孙永勤早就不堪忍受日伪统治，遂联络民众，于12月11日举起抗日旗帜，成立“民众军”，孙永勤任军长。1934年1月队伍发展到500余人，转战于黑河川，黄花川一带。5月初，在中共京东特委成员王平陆等人的帮助下，队伍改编为“民众抗日救国军”，辖4个总队，约4000人。孙部自抗日以来一年间，先后拔掉敌据点百余个，歼敌1500人。孙文炳等：《民族英雄孙永勤》。1934年8月，敌企图诱降孙永勤遭到拒绝。之后敌调集1500余人；施以毒气战等残酷手段围攻救国军。孙率部浴血奋战。1935年2月，被敌包围在承德老梁山，救国军顽强战斗，歼敌甚众，但我也伤亡600余人；后向黄花川突围，又有千余人失散。
2月下旬，孙永勤考虑到在热河孤立无援，敌人围剿日甚，决定进军长城内争取援助。孙率3000人南下，到达洒河川一带，敌遂调集第7师团及伪军进行围追堵截。此时国民党政府不但不支持孙部抗战，反而配合日伪“协剿”救国军。5月22日，日伪军越过长城大举进攻，南面国民党保安队等出动堵截，救国军被围困在遵化东北的茅山、吴家沟一带。经过激战，救国军一部冲出包围，但孙永勤，关元有等官兵300余人壮烈牺牲。近400人被俘后也惨遭杀害。孙永勤英勇战死时年仅42岁。冲出重围的救国军余部，继续战斗在热河，不久相继失败。
孙永勤领导的民众抗日救国军虽然失败了；但是他们英勇不屈的民族精神，极大地鼓舞了中国人民的抗日斗争。中共在“八一宣言”中称赞孙永勤是为国捐躯的民族英雄。
在1934年秋至1935年夏期间，日伪除对上述东边道、东满、哈东、绥宁地区以及孙永勤等部进行重点和大规模讨伐外，在其他地区也有不同规模的讨伐。在辽宁三角地带，继邓铁梅殉国后，苗可秀率中国少年铁血军继续奋战。6月中旬铁血军在凤岫交界的羊角沟被敌包围，突围中苗可秀负伤。不久被捕，于7月25日壮烈牺牲，时年30岁。在密山地区，李延禄率领的抗日同盟军第4军，活动频繁，敌于同年春发动一次较大规模讨伐，被我军挫败。在黑省中原，原黑省救国军张锡武所部，在日伪1934年秋季的讨伐中溃败，张锡武于1935年10月被捕，壮烈牺牲，时年35岁。在嫩江地区，一些小股义勇军在敌多次讨伐下，或溃散或潜伏。
五日伪1935年秋冬季讨伐
经过日伪1934年秋季到1935年春夏的讨伐，义勇军和山林队抗日武装受到较大损伤，仍在坚持斗争的较大的队伍有：在东边道有王凤阁；在辽宁三角地带，有继苗可秀之后由赵同等率领的少年铁血军和义勇军阎生堂部；在吉省东境有吴义成、姚振山部；在辽西和热河、有蓝天林、刘振东、老梯子、周荣久等部。而由中共领导的抗日武装，在经受挫折斗争中不断壮大起来，到1935年秋季时，已成立了人民革命军第1～5军，成为东北抗日战场的主导力量。1935年底，各地抗日武装共有5万多人。
从1935年9月开始，日伪又展开了秋冬季“治安肃正”工作。关东军分析当时的“匪情”认为：经过数次讨伐和治安工作，大多数“政治匪”和土匪已严重衰落，“只有共匪还残存着，试图进行激烈的抵抗”。《满洲国警察史》第296页。“特别是共产思想之影响日益扩大和加深，实乃治安维持上极为忧虑之事”。《东北大讨伐》第12页。关东军总结以往的讨伐情况，指出历来讨伐效果不大的原因在于：“大多数的民众还没有与匪贼完全分开……这些匪贼精神上的友军，虽不敢持枪反抗我们，却是抚育匪贼之母体。”《东北大讨伐》第12页。关东军根据这种分析，决定此次治安肃正的策略方针为：在以武力讨伐为主的原则下，加强以“匪民分离”为主要内容的政治工作。“讨伐工作”以日伪军警为主体，在日军统一指挥下，“对于共匪及反满抗日之类的政治匪，须依靠坚决彻底的讨伐行动，在局部地区将其歼灭，并彻底消灭有根据地的匪徒”。《满洲国警察史》第297页。“政治工作”以伪满各机关为主体，各机关要密切联系，并达到“军民协调一致”地开展治安肃正工作。关东军按照以上方针，在各讨伐部队中，专门设立了“治安工作班”。伪满也根据关东军的指令，在《康德2年（1935）秋季治安工作纲要》中规定：“县以县长，县参事官为中心，动员各方面组成以行政警察为主体的治安工作队。”《满洲国警察史》第297页。配合讨伐行动，彻底搞好治安工作。
这次治安肃正的重点地区是伪奉天、安东、吉林、间岛、滨江、三江6省。日军出动的部队主要有：“以三毛部队为基干的部队，担任三角地带和东边道等伪安东、奉天两省的讨伐；以尾高部队为基干的部队，担任京（长春）图路沿线地区之伪吉林、间岛两省的讨伐；以岩越部队为基干的部队，担任哈绥路沿线地区以北至松花江之间的讨伐；川岸部队讨伐锦热地区；涩谷部队向齐北路出动；儿玉部队向洮南西部和通辽西部讨伐。”
在东边道地区，杨靖宇率领1军军部在柳河、金川一带活动，伪军邵本良部紧紧追踪。8月下旬，杨靖宇率部于柳河黑石头设伏，歼敌200多人。9月中旬又在金川县寒葱沟（今属浑江市）截击伪军，缴获了许多弹药和被服。之后，杨靖宇率部到达那尔轰，与由2军政治部主任李学忠率领的西征队伍会师，由此开始了两军联合作战，使东满和南满的游击区连成一片。
这时，敌人的秋季讨伐已经开始，日伪一面调动部队加强城镇守备和封锁道路；一面推行保甲制度，隔离我军民联系；还派奸细打入我军内部进行破坏。并在战术上采取“剿杀匪首”的办法，专命伪靖安军（俗称“红袖头”）和教导队等3000余人，围攻杨靖宇的司令部。杨靖宇率部避实就虚，南征北战，在宽甸、本溪、通化等地打击敌人。1军各部经过数月南征北战粉碎了敌人的秋冬季讨伐，并得到发展，1935年底总人数已达1600余人。
在辽宁三角地带，赵同继苗可秀之后，任铁血军总司令。敌人秋季讨伐开始后，铁血军一度受挫，后总结经验教训认为今后“应当互相帮助，彼此辅助，组织统一，行动一致，以长补短，共同发展”。赵同：《东北义勇军》，转引自《东北抗日义勇军史》（上），第299页。12月初，铁血军与其他义勇军各部举行了联席会义；决定各部义勇军一律以“少年铁血军”为军号，设立总司令部。这次义勇军各部的大集合，推动了这一地区的抗日斗争。
1936年1月初，敌再次集结日军百余人及大量伪军，从凤城向龙王庙方向讨伐铁血军。赵同、白君实率部300余人几次与敌遭遇、损失较大。3月中旬，铁血军在周家堡子被敌200余人包围，突围中参谋长赵伟壮烈牺牲。
1936年春，在敌人残酷围剿下，赵同失去抗日信心，将铁血军指挥权交给白君实，只身入关。此后由白君实、阎生堂、赵庆吉等形成了铁血军新领导核心。5～8月间，铁血军几度出击，取得了一定胜利，但在高力桥子战斗中损失百余人。
入秋以后，敌加强讨伐，并施行归屯并户，铁血军再度遇到困难。10月间赵庆吉在战斗中牺牲，曹国仁进入关内，队伍受到较大影响。12月中旬，阎生堂在沙里寨被敌包围，突围中身负重伤，饮弹自尽，时年26岁。
此后只有白君实领导余部顽强坚持斗争。在公开活动越来越困难的情况下，白君实就在山林等地挖筑地洞坚持抗日。就这样铁血军利用地洞战，辗转迂回，出其不意打击敌人，在极其艰苦的条件下，坚持斗争达数年之久。
1938年冬，白君实在李家园子前山地洞坚持斗争时被敌包围，突围后被捕，1939年1月，白君实壮烈殉国，时年32岁。至此，辽宁三角地带的抗日武装斗争，坚持8年之久，最后失败了。但中华儿女不屈的精神永垂史册。
在东满地区，人民革命军第2、5军联合作战，共同抗击敌人。8月召开了两军联席会议，组成西征军共200余人，由周保中统一指挥，向额穆、敦化一带开辟新游击区。11月上旬，在额穆县青沟子，老头口等地，西征军与敌松井讨伐队及伪军发生战斗，我军取得胜利。12月上旬，西征军向敦化官地发动进攻，取得大捷。月底，敌调动兵力企图将我西征军围歼在敦图路以北。1936年1月上旬，双方在额穆索等地展开战斗我军歼灭伪军50余人。《东北抗日联军第2军》第108页。
以安图为中心的2军留守部队1、2团，在军长王德泰的指挥下，分成小股部队，抗击日伪讨伐。至1936年1月中旬，敌再次集结兵力，发起更猛烈的进攻。终因力量悬殊，为保存实力，我军主动放弃东满最后一块根据地，转移到抚松境内活动。但是，2军各部仍积极战斗，并与1军2师配合作战，有力打击了敌人，挫败了敌人的秋冬季讨伐。
在宁安地区活动的5军一部，同样反击了敌人的讨伐。5军的基干部队和2军的部队，取得了较好的战绩。但5军非基干部队的5、6团等受到较大损失。5军领导于1936年1月对全军进行整编，共编为2个师、7个团、21个连；总人数630人，虽然人数有所减少，但素质有较大提高。
2军丢失奶头山根据地后，挥师北上，于1936年1月中旬到达宁安镜泊湖根据地与5军军部会师。2月上旬，2军政委魏拯民由苏联返回东北到达宁安根据地，与周保中进行了会晤，传达了共产国际“七大”精神和中共代表团的指示，讨论了进一步贯彻党的抗日民族统一战线和建立东北抗日联军等问题。之后，魏拯民动身前往额穆，与王德泰、李学忠率领的2军部队会合。东满地区的抗日斗争又走向一个新阶段。
在三江地区，赵尚志领导的第3军和李延禄率领的第4军，携手团结并联合李华堂、谢文东等抗日队伍，粉碎了敌人1935年秋冬季讨伐，3军还帮助汤原游击队组建成人民革命军第6军，使这一地区的抗日斗争有了较大发展。
赵尚志率部东征受阻返回珠河根据地后，将1团留在方正、延寿一带活动。1935年6月，李延禄率4军军部西征，创建了大罗勒密根据地。8月，李延禄部与刘海涛、张寿率领的3军1团及李华堂部，在大罗勒密会师。9月以后，三支部队联合在松花江沿岸打击敌人，取得了林口战斗胜利，扩大了游击区。
9月上旬珠河中心县委召开会议，鉴于老根据地被敌破坏严重，决定由赵尚志率3军主力部队向松花江下游地区开辟新游击区。10月，赵尚志率军部及4、5团等共500余人，从珠河道南根据