1941年3月，由中共中央军委将活动于苏南地区的江南指挥部、江南人民抗日救国军等部合编成第六师。师长兼政委谭震林，参谋长罗忠毅。下辖第十六旅(旅长罗忠毅兼、政委廖海涛)、第十八旅(旅长江渭清、政委温玉成)、江南东路保安司令部(司令员何克希、政委吴仲超)、江南西路保安司令部(司令员韦永义)，全师6000余人。同月，粉碎了日伪军对太(湖)、滆(湖)地区的“扫荡”。同时击退了国民党忠义救国军的袭击。9月，江南东路保安司令部撤销，所部由师直接指挥。11月，第十八旅划归第一师建制，第十六旅归第一师指挥。

1942年10月，中共中央军委决定，第一、六2师领导机关对内合并，对外仍保留番号，由粟裕统一指挥。师政治部主任谭震林。1943年10月，第十六旅收复溧阳、溧水、广德、宣城等广大地区，扩大了苏南抗日根据地。1945年1月，苏浙军区成立后，第十六旅改称军区第一纵队，投入浙西天目山自卫反击战。同年10月，第一纵队编入华中野战军第六纵队。第六师在抗日战争中，歼敌1.6万余人。对牵制、打击京、沪、杭三角地带日伪军的苏北屏障，发挥了重要作用。