国民党蒋介石政府建都南京后，蒋介石将黄埔军校转迁到南京。因此，在钟山脚下，玄武湖畔很快就挂出了中央陆军军官学校的牌子。这虎蜛龙盘的石头城，俨然成了蒋介石苦心经营的政治、军事、经济和文化的中心。
1928年3月，中央陆军军官学校在南京正式成立，蒋亲任校长，委李济深为副校长，何应钦为教育长。10月间，中央军校再次改组为委员制，以蒋介石、胡汉民、吴稚晖、戴季陶、冯玉祥、阎锡山、何应钦、李宗仁、李济深为校务委员会委员，何应钦为常务委员兼教育长。
从名单中可以看出，这个时候的中央军校，不但共产党人早已被“杀绝”，就是国民党左派也被赶尽了。
张治中的重返中央军校，以他当年曾被称为“红色教官”、“红色团长”及“黄埔四凶”的身份，固然可以说是再一次受到蒋介石的信任和重用，但此时的中央军校早已不是黄埔时期的那所军校了。
事实上，南京时期的中央军校，已经完全蜕变成了蒋介石的“私立军校”。不过，张治中不是不知道这一点。在当时国共两党已经兵戎相见的情况下，比较而言，远离战场的中央军校，不啻是一个避免卷人“剿共”军事的“避风港”。
1928年秋，张治中正式赴任履新，接手军校六、七两期学生的训练事宜。军校第六期入伍生锐不可当收于1926年7月10日，最初达4400余人，中间经历了“四•一二”事变、粤桂战争和广东起义，时局几经变乱，结果大部分学生逃散。
到张治中重返中央军校时，第六期学生只剩下700余名；第七期学生的招生对象为学生军、军士教导队及国民革命军第八路军干部学校的学生，这期学生亦因大革命失败后，时局动乱而大部逃散，到1928年为只剩下600余名。两期学生加起来，也只有1300余名，比起第四期2600余人和第五期的 2400余人，在人数上已大为逊色；与全盛时期达2万多名师生的局面相比，更是不可同日而语了。
张治中素以治学严谨著称，自接任训练部主任之后，张更以大刀阔斧地对校风校纪进行整饬，强调治军如治国，只能紧张不能姑息，姑息则养奸，殊非治军之所宜。平时则要求学生一律剃光头，集合时一律要跑步，列队时不准讲话，不准有任何小动作。校内不准吸烟，每周检查一次内务，被子要有棱角，生活用品要放得横成线竖成行，吃饭只有10分钟等等。张治中对这些规定抓得很紧，违纪者轻则体罚，重则关禁闭，毫不客气。
在他的铁腕整肃下，军校面貌为之一变，外界亦称赞中央军校“渐成严肃之气象”。
12月17日，一夜霜风吹得冰天雪地，蒋校长亲临军校主持纪念周仪式。只见全校师生站在雪地上，虽气侯奇寒无比，却是军容整齐，气象严肃，蒋校长看了，十分高兴。
在中央军校10年任教育长的任上，张治中无心去领略秦淮灯火，也无意去欣赏玄武春色，却真真切切的感受到了金陵烟雨，其间，有几件事给张治中留下了深刻的印象。
以黄埔军校师生为骨干而发展的革命武力，打倒了北洋军阀，统一了全国。但同时，从“九•一八”事变以后，日寇对中国的侵略，十分露骨，民族受着空前的压迫。
“九•一八”之后，日寇占领沈阳，进攻吉林、黑龙江，这正是马占山将军孤军苦斗的一个时期。上海的大学，联合江、浙、平、津一带的男女大学生三千多人，像暴风雨袭来似的，到南京向国民政府请愿。
那时蒋任国府主席，请愿的学生，高举着爱国的标语和旗帜，一齐涌到国府大礼堂，大门、两廊都挤满了学生，当然是一个很紧张的情况。蒋指定了二十多人如吴稚晖、陈立夫、朱家骅、张道藩、张厉生等处理这件事，并且要张治中来主持。
那些青年学生，聚集门内门外，高喊口号，至为激昂。他们的意思，无非是要国民党中央援助马占山，口号中多带着一些愤怒和责难的意味。
看到学生这种情形，参加处理的要员中，就有些生气的，说学生们是捣乱行为。张治中则觉得这些请愿学生的动机是纯洁的。当时他正在国府大厅里开会，并且担任会议主席，外面的学生群众，形势汹涌，人声鼎沸，像要打进来的样子。大家问他的办法，张治中答道：“无论如何，先把今天晚上挨过。赶快到军校多拿些毯子和馒头来，多预备点开水，以免学生受饥挨冻。把今晚挨过了，明天再说。”
有人问他：“学生打进来怎么办？”
他答道：打进来，就听他们打进来，毁国民政府就让他们毁。
有一位就笑着说：又是一位不抵抗的将军！
张治中把桌子一拍，马上站起来，愤愤地说：我就是不抵抗，但我的不抵抗，对象不同。青年就如同自己的儿女。哪个愿意抵抗的，来！我退席，我走！
有几位主张和平处理的人，还有一两位党内先进，怕把这件事弄僵，争来劝解，把张治中拉住说：不要紧，不要紧，听你的办法。
张治中说：对学生的武器，只有毛毯、开水、饼干。因为他知道有些主张压制的人，已经从警察局调来了打手，并且准备放水龙头和催泪枪，埋伏在国府后面，只等机会到来就动手。他继续激昂地说：“国民政府打毁了，没有问题。蒋主席辞职，也没有关系。如果目下造成血案，就会把蒋主席的政治生命送掉！学生并不是日本军阀，我们为什么把他们看做敌人？
这样，大家才说“好，好，听你的”，才把那些打手撤回。这个消息传到外面学生的耳里，再加以毛毯、开水、饼干、馒头等不断地送来，这一夜竟自平安度过了。
第二天清早，张治中集合学生讲话，随便他们提出什么质问，他总是随即予以答复，加以开异。
例如，学生问道：马占山正在血战，中央为什么不加以援助？
张治中就反问：同学们，你们的心情我懂，但你们知道从南京到马占山那里有多少路？怎么走？再说，兵散在各地怎么样调？中央是决不会欺骗青年的，能救必救，没有不援助的道理；但如果在事实上救不到，也没有办法。
这样解释以后，学生的气渐渐平得多了。经过一两天，蒋介石也亲自和学生讲了一次话。最后，学生对政府方面的答复，认为满意，不过要求蒋主席写一个手谕，表明中央对青年学生保证有决心收复失地，同时勉励他们几句，这样学生表示愿意回去了。
在请愿学生离开南京之前，张治中对学生们说：你们要走了，我们快分别了，让我们来喊三个口号。
有一个学生问：“喊什么口号？”
张治中高喊道：“打倒日本帝国主义！拥护国民政府！中华民国万岁！”（不喊“拥护中国国民党”，不喊“蒋主席万岁”，容易被一致通过。）三千多可爱的青年，就跟着他呼喊，声震屋瓦。在一片热烈鼓掌声中，顺利地解决了这一次大风潮。
这是第一批而且是人数最多的一批请愿的大学生。这批学生回去以后，关于处理学潮问题，有人以为张治中的态度太软。不久，第二批请愿的学生又来了，他不好再管，也不便多说话，因为大家说他“姑息养祸”。这第二、三批学生请愿时，竞因主张压制的人使用了他们的手段，闹出了一些乱子。
事隔十余年，有一个广西银行的协理，忽然写一封信给张治中，他就是参加那年请愿的一个学生代表。他在信中说：在处理学生请愿时，你给我们的印象很深，在当时处置学潮的诸人中，你是我们学生所最信仰的一个人。
这一次学生请愿的爱国行动，使张治中深为感动。学生的那种秩序、态度，尤其是纯洁的热情，给他的感动实在太大了。他只觉得他们纯洁，只觉得他们可爱。当学生们站着听他讲话的时候，正是细雨濛濛，正象征着国家那时所处的困境，他们个个鹄立在那里，怀抱着满腔的热血和希望，一字一句地听张治中讲话，张治中感到他们真是一群爱国的青年。
1934年6月16日，为军校成立十周年纪念，蒋介石乃发电文，召集军校各期师生前来中央军校举行纪念大会，电文中说：
在革命诸战役中，皆以本校师生为革命武力之骨干。国民革命之历史，不啻本校之血史，而本校环境之良否，又于国民革命之环境以窥之也。……6月16 日为本校成立10周年纪念，定于十五、十六、十七，召集本校先后员生，开纪念大会，并追掉先烈，举行恳亲，展览成绩，皆以昭示本校亲爱精诚之精神，且为十年来吾人努力革命工作之总检查，意义至为重大。
在中央军校10年执教期间，张治中比较得意的一件事，是由他亲自主持了黄埔军校成立10周年纪念日，这是一次规模空前的盛大庆典活动。
黄埔军校成立于1924年6月16日，从6月15日开始，庆典就拉开了序幕，先后举行的一系列重大庆祝活动计有：“革命先烈”追悼会，军校10年成就回顾展，恳亲磊会，阅兵典礼，总理广州蒙难纪念，军官高等教育班及军官训练班第二期学员毕业典礼，第10期入伍生升学典礼，国民革命军遗族学校全体员工和军校教职员及家属茶会，军校成立10周年纪念大会，运动大会，公宴，游艺会等等。
这次盛大友爱典活动，除在校师生全部参加外，国民党党政军要人及各地代表计有4000余人出席。
张治中不无得意地说：这一次大会，可以说是军校的空前盛举。10年来的师友，天涯海角，会聚一堂，实在是一次盛会。自然，所谓的“10年来师友 ”，是不包括以周恩来、邓演达、鲍罗廷为首的一大批曾为创建黄埔军校立下赫赫功勋的共产党人、国民党左派及苏联顾问的。一切光荣，不但都归之于蒋介石，而且都归之于国民党右派了。
在有眼光的人看来，主持10周年庆典，固然是一件轰轰烈烈、风风光光的大事，但毕竟只有几天时间，事过境迁，终究是过眼烟云，逝者如斯了，哪里比得上编撰一部校史，可以藏之名山，传之后世，千古流芳呢？何况，盛世修史，本是中国人的传统。
据此，张治中把编印黄埔军校校史，作为自己执教期间的一件大事，提上了议事日程。在成立校史编纂委员会之后，广泛搜集资料和各种影印插图，使之保存“真相”。当然，有色眼境是少不了的，突出校长蒋中正的不朽功勋，突出国民党右派的砥柱作用，突出国民党军政界要人的杰出贡献等。
据张治中说：经过了年余的工夫，终于完成了。这部书的内容，采用纪事本末体，为为：本校创办、本校成立后之环境艰难与奋斗、组织之沿革、军事教育、军事工作、党务、政治训练与政治工作、本校先烈、校务行政、建设等10编，精装10大册，约200万字，可谓是一部煌煌巨著了。
不过，张治中说：这部史稿，虽已编好印好，其中有无错谬，我至今还没有看过，以后也没有兴趣来看了。可见，张治中对史稿的观点及史料的选取，大概是有不同看法的。在当时的历史条件下，由张治中组织一批人来编印黄埔校史，固然抱着“保存真相”的良好愿望，但在客观上，只能为蒋介石树碑立传而已。
一九三五年，正是倭寇对中国侵略最紧张的时候，首都南京举行秋季联合大演习，这个意义的重大可以想见。这一次大演习，可算军校空前的壮举，参加的部队很多，空军和机械化部队都齐全，军校大部分学生也参加。
张治中任东军司令官，在这次演习中，大家都领会着蕴涵的意义，精神振奋而愉快。最使人久而不能忘怀的，就是王守明同志的殉职。
王守明是军校第六期毕业生，在本校服务。这次大演习，他任东军工兵队队长，那天他在施家桥地方架桥，命令限他四点钟内完成任务，但是到了时间，还没有完成，等到部队到达河边，不能渡河，他感觉难受，便对大家说：“同志们！对不起大家，我没有完成任务，我真惭愧！”话刚说完，他就举起手枪，在大家的面前自杀了。
这是演习，虽是任务没有完成，他用不着看成这样严重而自杀，然而他竟表现出这等勇于负责的精神，出于一死，这种行为，不能不使一般军官与学生们大受感动，而且应该引为模范。
张治中10年执教，隐身军校，本意只在于能在国共内战中，置身局外，保持一个干净身子；但是，这并不等于张治中放弃了对政治的认识，放弃了对国事的主张。事实上，张治中是一个对政治热中的人，不但不可能真正置身于政治的漩涡之外，也从没有真正脱离对国内重大事件的介入。因此，在此期间，张治中曾多次出山，参加中央军的“讨逆”行动，正是一个符合逻辑的演变。
20年代末至30年代初，正是蒋氏王朝的奠基阶段。而蒋之得天下，不但在很大程度上得之政治投机，而且也多少得之于侥幸，不像汉高祖那样牛气：“ 乃公马上得天下”。事实上，南军北伐成功，共产党人出了大力且不说，就是党内的许多实力派巨头，诸如李宗仁、李济深、程潜、冯玉祥、阎锡山、唐生智等，自认为所出的力所，并不比老蒋少。何况，老百姓大都只懂得“成者为王，败者为寇”的古训，说到“三代之得天下也，以仁；其失天下也，以不仁”的大道理，是没有多少人知道的。
因此，蒋之坐龙庭，有许多人不服气，是可以想见的；有实力的人要出来较劲，也在情理之中。于是，在蒋挂战争、蒋唐战争之后，蒋冯战争的发动，亦如箭在弦上了。1929年初，因编遣会议，蒋冯矛盾激化，冯回到北方，率部反蒋。10月中旬，两军前锋在平汉路沿线交火，战幕正式拉开。
战事初起，蒋感到武汉为后方重镇，无一大将坐镇，易为冯军所乘。据此，蒋决定设立武汉行营，自兼行营主任，以张治中任参谋长，负实际责任。就在命令即将发表的前一天，蒋在官邸举行晚宴，蒋念头一转，出人意料地宣布由张治中任行营主任，并当场下达手令。
张治中受命之后，当即组建行营机构，将中央军校第七期学生1000余人编成1个学生混成团，作为武汉行营的基本实力。10月21日，张亲率这批学生娃娃从南京出发，23日夜抵达武汉，24日上岸分驻汉口、汉阳、卫戍执勤。随后，张下令将中央军校武汉分校的学生也编成1个混成团，担任武昌的卫戍任务。
按国民党军事编制序列，行营是陆海军总司令驻在机关（1932年以后改称军事委员会委员长行营），可以总司令名义统率辖区内驻军，统筹国防及“讨逆”事宜，甚至有权指挥辖区内各省党政事务。
当时的武汉行营，辖区为湖北、河南、安徽3省，可知行营主的权力是很大的。一般来说，行营主任一职，若不是蒋氏自兼，至少也须是资深的军界元老出任。现在，张治中从中央军校的教育长，一跃而成为指挥数省军事的统帅，从资望上来说，显然是不够的。因此，不独行营所属的各路将领大跌眼镜，就是张治中本人也是大出意外。
其实，张治中被超拔之事中，我们不能不赞叹蒋的手段，也不能不佩服蒋的眼光。事实上，像武汉这样一个后方重镇，重在市面与人心的稳定，并非大军云集，重兵防守。冯军真要打来了，不要说2000多个娃娃兵不济事，就是有2万精兵强将，也难以坚守。
张治中准确地领会了蒋的意图，当时，前方战事激烈，武汉人心摇动，张治中却是大唱“空城计”：每天，或则到汉阳兵工厂检阅；或则武汉武汉大学演讲；或则登临黄鹤楼，欣赏大江风景；或则逛逛茶馆酒肆，体察体察民情。然后通过新闻报刊，大肆进行炒作。于是，张主任闲游黄鹤楼“的故事，顿时轰传武三镇。从此，人心大安，秩序稳定。
1个多月后，战事结束，武汉三镇居然没有出事。11月30日，武汉各界在中山公园举行“讨逆“胜利庆祝大会，张治中出席并讲话，次日，张交卸防务，率2000余娃娃兵，重返南京中央军校。
张治中的这一出“空城计”能够圆满谢幕，固然要感谢冯玉祥的“魏军”没有打到武汉城下；但是，张治中的战略眼光与儒将风采，无疑也是成功的一个重要因素。张治中不是一个文人，然而，在他身上，却又有一种儒雅的文人气质与大将风度，真是难得。
蒋冯战争结束后，张治中遵照蒋令，着手以中央军校第六、七期学生为骨干，筹建教导第二师。先是成立教导团筹备处，编成教导第1旅所属3个团，开赴杭州笕桥及南星桥进行训练；其后编成教导第2旅所属3个团，开赴浙江五夫进行训练。再后编成炮兵教导第1、2团及骑兵、工兵、辎重兵等各团。
1930年5月下旬，张治中将教导团筹备处改组为教导第2师司令部，并亲兼师长一职。至此，教导第二师正式编成。从编制上来看，该师达到11个整团以上。当时，许多杂牌师普遍只有三四个团，可见该师的实力之强了。这也是张治中第一次出任师级带兵主官。
教导第二师刚刚编成，中原大战爆发。张治中接到蒋的命令，率该师由津浦路乘车北上参战。所谓“春秋无义战”，以之印证国民党新军阀之间的一次次混战，并无不当之处。尽管总司令之间打得热火朝天，但死伤的是下层官兵，受害的是广大老百姓，这与一个个高高在上的总司令，又有什么关系哩！正所谓鲁迅先生所说：“军阀们只管自己斗争着，人民不与闻，只是看。然而军阀们也不是自己亲身在斗争，是使士兵们相斗争，所以频年恶战，而头儿个个终于是好好的，忽而误会消释了，忽而杯酒言欢了，忽而共同御侮了，忽而立誓报国了，忽而……不消说，忽而自然不免又打起来了。”
张治中的北上，是因为蒋、冯、阎几个头儿，“忽而自然不免又打起来了”的时候。
不过，头儿们既要开打，也不能没有自己的理由。冯总司令与阎总司令的口号是：“护党救国”；蒋总司令的口号是“讨逆”。双方的战线沿着津浦、陇海、平汉线展平。陇海线是其正面，双方均以主力部队投入该地区；津浦、平汉线是其两翼，双方投入的部队稍弱一些。5月中旬，战事初起，蒋军攻势甚猛，且有空军配合作战，激战数日，冯、阎不支，节节败退。但到了5月底，形势为之一变，冯阎组织反攻，且有勇猛善战的骑兵突击蒋军后方，蒋军不支，也是节节败退。张治中就是在这个时候，带着新编的教导第二师，加入正面战场的战斗。
为了扭转颓势，争取主动，蒋总司令命刘峙、蒋鼎文、陈诚、张治中等手下金刚级大将，率3万大军，长途奔袭陇海线重镇开封，但被冯总司令识破诡计，预先设下“口袋”，专等蒋军来钻，以期一网打尽。
就在冯军四面合围之际，蒋得到情报，大惊之下，立命前军分三路突围，命张治中部掩护退却。结果，这一场战役，用蒋介石的话说：“双方日夜搏战，互为攻守，伤亡枕藉，惨极。”而张治中师的损失，尤巨。
6月中旬，蒋为打破陇海线战事的僵持状态，将所部分为左右两翼，以刘峙、陈调元分任左右翼总指挥，马鸿逵任总预备队总指挥。张治中调归右翼，由陈调元指挥。陈出身于北洋军阀系统，投蒋后，任国民革命军第37军军长、安徽省政府主席同、第一集团军第二军团总指挥等职。陈虽投蒋，究非嫡系。所以，蒋向张交底了：把部队控制在后面，不要轻易使用，亦不必守阵地。这就是叫张治中打滑头仗了，但陈调元也给张治中下了一道命令，必须坚守阵地。
对于崇尚直道的张治中来说，这件事复杂了，陈是直接领导，蒋是直接领导的领导，“直接领导”叫守，“直接领导的领导”不叫守，到底听谁的好呢？而且，在张治中看来，陈调元“出身”不好，对中央军本有疑虑，如果自己带头不听指挥，必定使他的疑忌得到证实，这个仗还怎么打得下去呢？张治中素来是有大局观的，也是有兼容性的。因此，斟酌再三，张治中还是接受了“直接领导”的命令。结果坏了事，就此上了马家军的当。
马鸿逵的部队在贺村被包围，向陈调元求救，陈命张负责解围，张派出两个团去接应。可是，马家军突出重围了，却不顾张部的死活，偷偷地撤退了。结果，张部两个团被冯、阎军压住了打，很快垮了下来，幸有1个旅在后面接应，才未出现崩溃局面。
贺村丢了，马鸿逵却面蒋告状：指斥张部擅自撤退，马家军孤军作战，力竭不支，以至丢失贺村。蒋对张大发脾气，但不是责怪他擅自撤退，而是说：“要你控制在后面，为什么打？”张治中吃亏买了个明白，总算知道地方军阀的厉害，也总算知道蒋之打“滑头仗”的苦衷。
在中原大战中，张治中遇到一个古老的伦理问题，这就是怎样看待战争中的杀人问题。
张治中所部曾有两次捕到冯、阎军的侦探，手下人都主张立即枪毙；但是，张没有同意。理由是：一个普通人，是否甘心作间谍？在贺村一役中，手下有一个营长，本应枪决的，张想来想去，终是不忍，以记处死罪，戴罪图功了事。
不过，张治中并非心慈手软，一味“放生”。一个团的军需卷了军饷潜逃，到了蚌埠被宪兵抓住了。这时有人出来为这个军需求情，张没有同意，以为：拐带军需，其罪一；阵前脱逃，其罪二，实在无可饶恕，下令将这个家伙办了。
还有一个士兵，强奸民妻，枪杀其夫，老百姓告到师部，张治中迅即查证，二话不说，一个命令下去，把这个恶棍毙了！可是，在张治的心目心，什么人该杀，什么人不该杀，并不完全出于一般的战争纪律或军事法律，而是有着自己的判断。这就是：重道德因素，轻政治因素；或谓之：犯战争罪者赦，犯道德罪者杀。
在中原大战中，张治中及何应钦、刘峙、顾祝同、陈诚、蒋鼎文、钱大钧、陈继承等中央军高级将领，因能打善战，被一般舆论吹嘘为蒋手下的“八大金刚”。蒋氏亦赞赏张治中的战场指挥才能，曾考虑由教导第一师师长冯轶裴接任军校教育长，把张治中替换出来任带兵官。
但张治中得到消息后，当即面蒋坚辞师长职，认为：“现在师长人选比较容易找，至于本校教育长这一职务，还是我来吧。”
在当时，教导第二师是中央军编制最大、装备最新的一个师，师长一职最为各方瞩目，张治中主动请辞，不但出乎蒋的意料之外，也让蒋大为感叹，觉得这真是一个“上马统军，下马交权”的模范军人。要是党国军人都能像张治中同志这样，中原大战何得发生？共产党何得乘隙闹事？为了树立党国模范军人的形象，蒋 “恩准”张治中回中央军校继续任教育长。