《马关条约》签订以后台湾被日本占据，最先设立了守备队，在二战前组建成了台湾军，指挥官由日本军人担任，下级军官和士兵由台湾人组成。因为日本的同化统治，使得台湾军忠诚度高，日本也将其打造成了一支战斗力强悍的精锐部队。
民国二十六年（1937年）淞沪会战打响，台湾军抽调一个师的兵力赴上海，以机动先锋的特点，横扫了长三角地区，连下常熟、无锡、丹阳、句容，战斗强悍。民国二十七年（1938年）武汉会战打响，在大陆的台湾军组成波田支队，由波田重一任指挥官，走长江，一路克九江、黄石，鄂州到达武汉战场。在二战中只有日本部队丧尽天良使用毒气，在此前的淞沪战场只少量试用，而这次武汉会战则大面积使用，而台湾军的波田支队首当其冲使用毒气，最残暴，而最先冲进武昌城的，也是这支波田支队。
民国二十八年（1939年），台湾军组成饭田支队，由饭田祥二郎任指挥官，并南下广州，在顺利解决广州战斗后，仅4天就成功夺取海南岛，此后饭田支队一直驻军海南，并时常染指广西、云南等地，太平洋战争爆发后的民国三十一年（1942年），台湾军在印度尼西亚成了美军的炮灰，灰飞烟灭。
在日伪军里面，虽有蒙疆军、满洲国军、皇协军等军种，其中以伪满洲正规军最强悍，装备最精良，号称铁石部队，但这些伪军在台湾军面前都是小菜，当年日本人把台湾军人当成战争奴隶来培养的，造成台湾军猖狂恶劣，打仗凶残，无底线无人性，几场最惨烈的仗，都有台湾军的身影。