甲午战争的惨败让“必全按西法，庶足以御外侮”，改革军队的呼声大涨。此后清政府派胡燏棻在天津小站练兵，编成“定武军”；聂士成编练直隶地区淮军三十营，组成新的武毅军。暂署两江总督张之洞也呼吁要迅速编练新式陆军，张之洞甚至指出：“非认真依照新法急练劲旅不足以为御侮之资”，并提出“拟在江南练陆军万人，而以洋将管带操练”。可以说甲午战争的失败催生了“自强军”。
张之洞
提到自强军就不得不提一下张文襄公张之洞。因为自强军就是由张之洞建立的。张之洞是洋务运动的主要代表。他主张中学为体，西学为用，为中国的教育事业，为我国的较近代教育事业作出了重大的贡献。像武汉大学，南京大学，华中科技大学，武汉理工大学等等大学前身都是由张之洞创办的。武汉大学前身是自强学堂，南京大学前身是三江师范学堂，华中科技大和武汉理工的前身是湖北工艺学堂。
中日甲午战争后，清政府惨败。清政府深刻意识到建立一支强大军队的重要性。1895年12月，张之洞向朝廷申请创建新式陆军，提出聘请洋教官统领军队，并用西法来训练军队，清廷批准了这一要求。于是他们开始聘请洋教练，建立新式陆军。张之洞从德国募集军官32人，请他们到中国训练自强军。自强军仿照德国的军事制度，实际设立步队8营，马队1营和炮队2营，另建有营务处和军乐队等机构。新式陆军除了传统的兵器以外，更是增加了全部用西洋兵器，学习西洋兵器，西洋兵法的一支近代化的军队，称为武军。后来由袁世凯接管，人数近万人。后来数量不断增加，成为了清朝末期最强大的军队。
袁世凯
在军官任命方面，德籍教官来春石泰为总管带，其他德籍教官任各级军队的正职，而中国人则主要担任副职。在制度建设方面，为界定洋教官的责任和权利，制定了《洋将弁训条》和《洋将弁条规》；为管理全军官兵，制定了《全军各营条规》和《洋操营务处禀定营规》。但张之洞负责自强军的时间并不长，光绪二十二年（1896年）2月，张之洞回调至湖广总督本任，自强军由两江总督刘坤一继续负责。刘坤一令自强军从南京移驻吴淞，自强军便在此地驻扎和训练。经过将近九个月的训练，自强军已基本训练完毕。光绪二十三年（1897年）5月，自强军举行阅操，驻沪领事亦在被邀之列，上海的西文报纸对自强军的阅操称赞不已。
刘坤一
在训练士兵的同时，自强军也不忘培养将官，即成立练将学堂和练弁学堂。练将学堂给哨官提供了培训的场所，由德国教官教授测绘、战学、枪法和步法等课程。排长进入练弁学堂学习侦探和行军等军事技能。
光绪二十三年（1897年）后，西方列强在中国掀起一波瓜分势力范围的高潮，清政府的压力倍增。两江总督刘坤一试图调自强军赴江阴驻扎，扼守长江天险。但由于来春石泰的反对，未能如愿。光绪二十四年（1898年），来春石泰因聘请期满，不再担任管带。刘坤一立刻将自强军的缺额补足，然后调至江阴驻防，自强军由此加入江防的行列。光绪二十七年（1901年）7月，清政府下达命令，自强军归入袁世凯的武卫右军序列，后被改编为北洋陆军第六镇。
自强军开始在张之洞手下的时候，张之洞注重在军队中引入知识分子。这就使得一些革命党员渗透到了军队中，并宣传革命思想。自强军中很多的军人接受了革命思想。武昌起义的时候，很多的兵力支持都是来自自强军。这时候，自强军已经在袁世凯的麾下，所以袁世凯权衡形势，顺着多数人的意思，逼迫清政府清帝退位。
所以说自强军的出现和发展，在中国近代史上有着重大作用。对外他们有抵御外侮的意思，所以取名为“自强”。对内而言，他们在一定程度上，对清王朝在辛亥革命中的灭亡和中华民国的建立起到了积极的推动作用。