在编练自强军的过程中，张之洞发现“学堂出身之人，究视未学者领会易，长进甚速，是学堂有益，确有明征”。他认为“练兵必兼练将，而练将又全赖学堂”，决定创设江南陆师学堂，以培养将才。

学堂招收年龄在13至20岁之间，文理通顺能知大义者入学。学额150名，分马队、步队、炮队、工程队各门，“各门约以二年为期，二年后再令学习炮法一年，又须略习德国语言文字，以使探讨图籍，大约通以三年为期。”学堂聘请德国教习，讲授兵法、行阵、地利、测量、绘图、算术、营垒、桥路各种功课及马、步、炮兵种阵法。校址在南京城北三牌楼，占地近30亩，建有中式房屋230间，洋式房屋15间。

江南陆师学堂开办四期后停办。 辛亥革命领袖赵声上将、吴旸谷上将、抗日将领方振武上将等人曾就学于江南陆师学堂。