潮州缴械，幸而生还，张治中从汕头回到上海，还是不断打听广东方面的情形，希望能再度赴粤发展。
几天后，一位叫罗天骨的四川朋友，介绍他到吕汉超的川军第5师工作。川军5师是一支与孙总理保持密切联系的部队，郭孔彰当年就是在这个师不幸阵亡的；师长吕汉超为保定陆军速成学堂毕业，为张治中的前辈校友。因着这层原因，张治中决定接受罗的提议，来到四川绵阳5师，被委为师部少校参谋。
当时的四川，正是一个群雄并起，蜀中大乱的战国年代，“有枪就是草头王”，那是一点不错的。张治中入川伊始，正是吕汉超联合唐继尧发动“倒熊（克武）运动”的时候。
唐是川滇黔联军总司令，大西南的“一号人物”，驻地成都。但是，大四川的“一号人物”，不敌大西南的“一号人物”，熊总司令很快被赶出成都，论功行赏，唐总司令提拔吕汉超师长为川滇黔联军副总司令、吕汉超又成为大四川的“一号人物”。于是，张治中随着这位吕副总司令，从绵阳来到成都，荣升副官处总务科科长。
在成都，张科长的板凳没有坐热，熊部大将刘湘就已经率领川军第2军打来了，滇军不能支持，只好落荒而逃，刘湘又成为四川的“一号人物”。滇军逃走了，刘湘不肯放过吕汉超，继续对吕军穷追猛打。这一次，张治中可是吃够了苦头。随着吕汉超的残兵败将，张治中一退简阳，再退泸州，三退重庆。
吕军一路猛退，刘军一路猛追。到了重庆，吕汉超还想率残部潜逃川东山区，伺机再谋发展。不过，以张治中的军事眼光，已经看出吕军这堆“死灰”难以 “复燃”；于是，他趁势向吕汉超提出：“我可以回去吧？”吕觉得他这样跟着走下去，也是一个赘疣，也就允许了。张治中当即从重庆乘船，扬州出川。第一次入川，就此铩羽而归。
张治中先回到巢湖，在老家养息了一段时间，继续鼓帆东行，顺流而下上海，重新谋求发展。从当年走出扬州警察所，闯荡江湖以来，张治中每次出山，差不多都要以上海为起点；而每遇挫折，差不多都要以巢湖作终点。事实上，张治我就像一头猎豹，在一次次捕获猎物的搏斗中，受伤了，疲倦了，就回到家乡的老巢，养精蓄锐，补充体力。等到伤口平复了，精力充沛了，重新观察方向，开始新的战斗。
不料，张治中前脚刚进上海，吕汉超后脚也跟着到了。原来，在下川东途中，吕师的许多官兵都不愿逃奔那个荒瘠偏远的地方。吕汉超是个宽厚的人，也就不再免强，当即将部队交给副官长林光斗带领，自己回到上海来了。吕汉超见到张治中，便说林光斗带着部队，已到了川东北的宣汉，劝张回川去看看，帮帮老朋友。张颇重朋友义气，一番犹豫之后，未经深思，二度入川。
这时，吕师残部已被改编为川军独立第3旅，林光斗任旅长，张治中被委为旅部参谋长。参谋长自有参谋长的主张，张治中认为川军被差在夔门里，打来打去，互相内讧，太没意思。不如出川，谋求发展，将来可以会师武汉，完成一番大事业，岂不是好！当时的张治中30来岁，正是一个敢说敢为的年龄，好在他又是一个幕僚，说话可以不负责任，主官林光斗自然不会听他的。
不久，陕西护国军总司令陈树藩被直系军阀打败，从陕南退到宣汉，企图借林旅的地盘养精蓄锐。张治中当即主张林旅与陈部联合，一起反攻陕西，虽不是会师武汉，也是北伐的一个准备动作。就此，林旅喊出“援陕”的口号。然林旅的部分军官，以团长吕镇华为首，并不满意这个口号，认为此举无异于将林旅拍卖给陕军，当即与川军巨头刘季昭勾结，准备里应外合，火并林、张。
这一天夜里，张治中住司令部二楼，肚子有点泻，不大舒适。半夜，吃了一点稀饭，穿一件夹袍，拖着睡鞋，正靠在帆布椅上休息，小舅子洪君器进来了。随即，门外响起连续的枪声。
张治中以为是土匪闹事，洪君器说：“不一定，也许兵变呢”？洪君器一语，惊醒了张治中，他立即穿上布鞋，打开靠近城墙的后窗，由洪君器扶着，跳窗而出，躲在墙垛缝里，看见约有一连人，打着马灯，在城墙下疾行。张治中原想问话，被洪君器制止，认为应该先把情形弄清楚再说；张治中又想着去找林旅长的亲信炮兵连长，准备劝他出来镇压叛乱。这个想法，又被洪君器制止了。
事后知道，如果当时张治中向城墙下疾行的一连人问话，不啻自投罗网，因为这一连人正奉命去捕捉林、张等“援陕派”官长的；如果去找那个炮兵连长，事情同样很糟，因为兵变初起，首先被缴械的，就是那个炮兵连。这样两个危险的念头都被洪君器制止，张治中真是要好好感谢小舅子的救命之恩。其实，张治中为旅部参谋长，职责所在，当时只想着要急于弄清情况，镇压叛乱；而洪君器的身份是贴身侍卫，职责所在，首先想的是如何确保姐夫的安全，才能向老姐交差。两个人所站的角度不同，考虑问题时，自然会有主次缓急之别。
但是，总这样躲在城墙上也不是办法，张治中想起城墙另一头有一所邮政局，局长范众渠正是自己所熟识的，何妨到那里去暂避一下。于是，洪君器扶着张治中，沿着幽幽的城墙，向邮政局走去。途中遇到一个哨兵问话，洪君器声称是“陕军司令部的”哨兵不识张治中的庐山真面目，也就放行了。
到了邮政局，张治中从范众渠口中，才弄清这次叛乱的真相，“不令是兵变，而且是官变”。林光斗已被叛兵打死在寓所里，叛兵正在四处搜索张治中的下落。形势是非常危急了，经过一番紧急谋划，决定由范众渠先到陕军司令部联系一下，得到陕军司令部的同意，随即由陕军参谋、保定同学林黄胄来到邮政局，将张、洪接走。
张治中一行刚到陕军司令部，团长吕镇华就带着全副武装的士兵来要人了。因到处不见张治中的踪影，吕镇华估计也许会躲到这里来。陕军的几位官长当即将张、洪藏到后楼的一间房子里，好歹将吕镇华对付过去了。
在陕军司令部里住了几天，外面搜索得更急了，陕军司令部也被叛兵频频光顾。当时陕军已经回陕，陕军司令部只剩下一个空架子。陕军官长害怕了，不敢将张治中继续藏在司令部里，但道义上又不便赶他们走，只好不断地转移藏匿地点。但是，风声一天紧似一天，陕军的胆子也是一天比一天小，最后，竟劝慰张治中：你还是出去，公开同他们谈谈吧，没有什么要紧的！
张治中警觉起来，在丝毫没有保障的情形下，所谓的“公开同他们谈谈”，不是自投罗网吗？显然，陕军顶不住叛兵的压力，不愿承担保护的责任了。张治中清楚已经不能再指望陕军的保护了，必须亟谋脱身之计，迅速离开宣汉。当时陕军正有一班伤兵准备回陕。于是大家情急智生，当即由医官将张、洪“包装”成伤兵模样，裹在一群伤兵之中，从容地混出了城门。
逃出宣汉，到了四川万源县。县长蓝懋昭是张治中认识的。到了这里，张治中松了一口气，本想把头上的白布取下来，恢复本来面目，忽然一个转念：“何妨与蓝懋昭开开玩笑”。于是，张治中走到蓝县的的宿舍外面，大声叫：“懋昭！懋昭！”屋后转出一个陌生人，说：“县长走了”！忽然看到张治中是个伤兵，立即厉声盘问：“你是什么人”？张答：“我是陕军司令部的”。那人听了这句话，又看到处确是一副伤兵行头，才不再追问下去。张治中心头一惊，似乎是一个守株待兔的家伙，幸而开了一个玩笑，没有名正言顺的进去，否则就糟了。
万源也蹲不得了，张治中掉头就走。幸而出了万源，就是陕西省境。张治中找到一处与陕军司令陈树藩有关系的人家，暂且安顿住下，真是时衰鬼弄人，刚住下没几天，前方传来消息，陈树藩的军队也被打败了，风声顿里紧张起来，这家人家倒也干脆，脸色一变，端茶送客，当即就赶张治中走路。
这实在是一个倒霉透顶的日子，四川已经被人家赶出来了，陕西眼看着也进不去，在这个天高皇帝远的川、陕边陲，哪里是自己的安身立命之地呢？张治中再一次真正体会到了“上天无路、入地无门”的困境。想来想去，觉得只有沿着川陕边境，先走到长江的夔门再说。
沿着四川、陕西及湖北三省间的崎岖小道，张治中与洪君器遇山攀山，遇水涉水，也不记得究竟走了多少天，总之是吃尽了千辛万苦，好不容易才抵达夔门。
夔门，亦即长江瞿塘峡的西口。从这里乘船，上水则到重庆，下水则到宜昌，张治中想，乘到船就走，决不耽搁。能乘到上水船，就去重庆；能乘到下水船，就去宜昌。这意思就是：上水下水，听天由命吧。想虽这想，但在内心里，想去重庆的成分还是多一些，希望能有一条上水船，到了重庆，向有关方面揭露叛乱真相，替林光斗伸冤。
但是，意想不到的情况出现了。到了夔门，上水船与下水船竟然都停靠峡口。在一起一伏的波涛里，两只船节奏地上下动荡，似乎都在殷勤地向张治中招揽生意。命运再次跟张治中开了个不大不小的玩笑，又一次将他推到人生的十字路口：是上水？还是下水？是到重庆呢？还是到宜昌？张治中的那颗心，就像江面上那两条船一样，也在波涛中一起一伏地跳跃动荡。
忽然间，张治中一个转念：我为什么要到重庆？四川的情形是这样复杂，我为什么要自讨麻烦？四川军人的事情，还是让他们自己解决吧！这样一想，张治中的思维顿时发生逆转，并且不再犹豫，当即毫不迟疑地搭了下水船，向宜昌鼓帆而去。
船终于距重庆越去越远了，张治中与川军之间的“结“，也就此解开了。从此之后，直到全面抗战爆发，中间大致有18年之久，张治中再未踏入四川一步，巴山蜀水留给他太多太多的辛酸回忆。
当张治中与洪君器走到夔门时，两个人身上都只剩下一套裤褂，污秽破烂，形同乞丐。船到宜昌，换乘大轮，抵达汉口，张治中与洪君器上岸之后，到处找不到旅馆住。这也难怪，两个人都没有行李，又是那一身乞丐相，一看就知道是两个穷瘪三，任你两个人自吹自擂，说得天花乱坠，谁会相信呢！总算天底下，好人还是占大多数，最后找到一个小客栈，张治中与洪君器拿出十二万分的诚恳，一遍又一遍地告诉老板：“千万放心，不会骗账的。”也不知道这个老板是不是真的相信，总归同意收留了。
于是，张治中赶快给北京人罗天骨写信，寄来200元，做衣服，结旅馆账，这才带着满心的创伤与满身的疲乏，回到老家巢湖，回到温暖新切的洞穴里，平复自己的伤口，休养自己的身心去了。
其实，“宣汉事变”的幕后策划者，正是来自重庆的川军巨头。如果张治中贸然到重庆替林光斗伸冤，后果是可以想象的。10年后，张治中到了南京，遇着川军中一个深悉“宣汉事变”内幕的朋友，询问：“假使当年在‘宣汉事变’后，我到重庆，是不是会完了”？这位朋友笑着说：“恐怕是不用说了吧？”
二度入川，张治中可以说是吃足了苦头，而且差一点死于川军的阴谋与内讧之中。多少年以后，张治中想起“宣汉事变”，心里都还是不寒而栗，这是他生平第一次所经历的大危险，但未尝不可以说是他生平第一次所经历的成功。
经历了两度入川、两度出川的挫折之后，张治中的思想起了重要变化，这就是决心不再为军阀之间的肮脏交易做无谓的牺牲，尤其是川军之间那些说不清、道不明的恩恩怨怨与阴谋诡计，让张治中想起来就头疼。从此，张治中的目光不再注视四川。四川那个地方太大，太重要，也太复杂了，自己已经把最好的朋友郭孔彰贡献给四川军阀了，自己不想做“郭孔彰第二”。
3个月后，张治中再次来到上海，他的目光重新专注于南方。20年代初，孙中山先生依靠粤军的力量，重返广州，召开“非常国会”，就任大总统职，发动和领导革命运动。南方再次成为中国革命的中心。当时，粤军将领许崇智、黄大伟都在福建带兵。张治中听从朋友的劝说，南下福建谋求发展。但是，在福州住了一段时间，发现许崇智、黄大伟之间，也都在忙于勾心斗角地搞磨擦，发展的机会十分渺茫，张治中只得再次返回上海。
福建之行劳而无功，张治中在深深的沮丧之外，又增加了许多的怨愤。军阀政治，太无聊，也太可恶了！但是，张治中并不灰心，一切都还得等待，还需要忍耐。当然，等待的当中，不妨有所充实。也许他想起了上私塾学堂张先生的那句话：“这孩子将来大有希望”，在“将来”还没有到来的时候，不妨利用这个机会，偃武修文，进大学读书，以期进一步充实提高自己。
张治中选择了上海大学，主要是学习俄文，兼习英文。继学习英语、德语之后，再学习俄语、德语之后，再学习俄语，张治中实在是一个好学不倦、目光远大的人；而以他一个私塾出身的人来说，竟有决心掌握三门外国语，这实在又是一个让人赞叹不已的奇迹！不过，由此前的专注德文而改学俄语，可以看出张治中的政治志趣，已经以生了新的变化。同时，张治中并没有放弃环游欧美的理想，所以要继续补习英语。然而，上海大学对张治中的影响，远远超出了他在俄文、英文水准方面的提高，这真是张治中所意想不到的。
当时的上海大学可以说是一所“红色大学”，它是在中共的推动与帮助下创办起来的，是一所培养革命干部的学校。许多著名的早期中共党人，诸如瞿秋白、张太雷、蔡和森、邓中夏、恽代英、萧楚女、杨贤江、侯绍裘等，先后在该校任职任教；至于学生中的王稼祥、博古、杨尚昆、陈赓、李硕勋、杨之华、孟超等，后来也都成了著名的中国共产党人。校长于右任、副校长邵力子，不但是著名的国民党左派，而且极力推崇苏联社会主义制度。张治中钻进这样一个红色“大染缸”读书，并师从著名的大共产党瞿秋白学习俄文。他在思想上开始向激进立场发生剧烈转变，是一点用不着意外的。
其实，张治中决定进“上大”读书，在很大程度上，就是冲着这个“红色”来的。最初，张治中读了染启超的《饮冰室合集》，开始接受变法图强的改良主义思想的影响；以后又读到《新青年》、《新潮》、《向导》等杂志，又觉得社会主义更合自己的胃口。五四运动前后，张治中虽在滇军中扮演“客串”的角色，但始终关注着“新文化运动”，要求变革的思想日趋强烈。张治中的思想已经日趋激进了。
一次，朋友介绍张治中到上海之后，去见中国共产党的领导人陈独秀。张如愿以偿，并和陈独秀谈了一次话。陈是安庆人，与他同属皖中；并且，少年张治中曾多次到安庆寻找求学之路，对安庆始终怀有一种特殊感情。这次见面，陈独秀究竟向张治中讲了些什么，他已记不清了，但从张治中的心路历程来看，无疑是加强了他对社会主义的好感，掌握俄文，赴苏考察的愿望，就是在这段时间里立下的。
就张治中的成长背景而言，张治中的“左倾”，是毫不奇怪的。从家庭来说，张治中完全可以说是一个苦出身；走上社会以后，更是屡受歧视与打击，个人奋斗屡受挫折，个人抱负屡屡落空。这一切，都在张治中的思想上留下了刻骨铭心的刺激，也使他对专制腐朽的军阀势力及现实社会制度，抱有强烈的不满，也很容易对提倡平等公正的社会主义学说抱有好感。从这里，也就不难找到一个合理的解释：在国共两党的长期斗争中，张治中为什么始终对共产党人抱有同情态度，为什么能真心诚意地做促进两党合作的工作。事实上，张治中的成长经历，张治中的阶级意识，张治中的理想追求，都已经为此奠定了基础。
在张治中的记忆中，“上大”时期是一段轻松有趣的学习生活。因生活相对安定，张治中将夫人洪希厚及长子张一真接到上海，在法租界租赁了一个楼面，用布幔将房间隔成卧室及书房兼客厅。
从此，张治中专心读书学习，太太精心弄饭洗衣。在没有进账的情况下，每月要开支50元左右，对于过去的积蓄来说，确是一个不小的威胁；但每天都能享受那种挑灯夜读、红袖添香的读书生活，这与此前那种飘泊无定、浪迹天涯的战乱生活比较起来，真不啻是神仙般的生活了。
但是，张治中在“上大”并汉有读到毕业。由于南方的政治局面再次发生逆转。因粤军总司令陈炯明称兵作乱，孙中山再次被赶出粤境。对于孙中山来说，这是他一生中最为惨痛的一次教训，不但已经形成的北伐大好形势被彻底葬送，而且多年来辛辛苦苦创建的革命基业也毁于一旦；同时，也让他彻底看清了中国军阀的卑鄙无耻和没有人格。正是在这种特殊历史背景下，孙中山决定“以俄为师”，联俄联共，建立革命武装，开创全新局面。于是，这才有了国民党的改组，有了国共合作的局面，有了黄埔军校的创建，有了蓬勃兴起的大革命和北伐革命的胜利。
陈炯明叛变，孙中山避难永丰舰，立即号召前方将领回师平叛。这个时候，张治中的保定同学王懋功、伍毓瑞、陆福廷等人，都在福建担任旅、团长。他们在挥戈返粤的同时，都曾函电邀请张治中南下加盟，讨伐陈逆。经过一番斟酌，张治中赶赴福建，接受桂军第4师师长伍肖岩之邀，出任该师参谋长。到任之后，张治中才发现伍师长手下并无实际兵力，师长的头衔也只是个空心大萝卜，更不用说参谋长了。不久，虽经改任桂军总司令部参谋，但张治中觉得并没有多大意思。
经过了一些曲曲折折，大局总算定下来了。桂军谋划在广东虎门成立建国桂军国官学校，桂军总司令刘震寰自兼校长，伍肖岩兼任副校长。伍兼副校长后力邀张治中出任军校大队长。其实，军校就一个大队，大队长的权力是很大的；况且，刘兼校长，伍兼副校长，俩人都是挂名而不到任。校务方面，虽有少将吴安伯任监督；但是，这是一个高高在上的家伙，也是到职而不视事。这样，主持教育训练的一切责任都落在张治中的肩上。
这样一来，桂军军校实际上是张治中在办了。多少年来，张治中为军阀“打工”，从滇军到川军，从粤军到桂军，不但吃足了苦头，简直就是在玩命，目的无非是为了能找到一个实现个人抱负的机会罢了。现在这么一个机会实实在在的就在眼前，仅此一点，就让张治中动心了。张治中尽管从没办过军校，但少年时期就对军校抱有无限的向往，兴趣是从小就建立了；4年多武昌预校及保定军校生活，对于军校的教育和训练，不但有了实际的感受和认识，而且有了充分的自信与理论素养；况且，世界上的事情，不都是学而知之吗？谁是生而知之呢！
一个新的生活开始了。学校的条件简陋，校舍是利用棕叶、竹条临时搭建的，生活很清苦，甚至根本就没有军饷。但是，这些对张治中来说，都是无所谓的。抱负，抱负，沉重的抱负，久已将张治中压得喘不过气来了，现在正是一个卸下沉重抱负的机会，一切的困难，当然都不会计较。每天，张治中戎装佩刀，身体力行，对教育训练抓得很严。一段时间下来，学员们精神抖擞，军容整齐，校风和易，倒也别有一番风气，颇让桂军军官们刮目相看了。
从名义上说，桂军军校亦属于国民党军校。这个时候的桂军，同属于南方革命政府系统，孙中山能够重返南方开府，桂军也是出了力的。刘震寰在桂军之前加“建国”二字，谓之“建国桂军”，就是为了证明此桂军不同于曾经压迫孙中山的老桂军。以至桂军军校创办伊始，刘震寰请廖仲恺先生挂了一个军校党代表的名义，以示其效忠国民革命。其实，这只是一层炫目的外壳而已。学校的干部及学员，都是从桂军调来的，且为清一色的广西人，称得上是刘震寰的子弟兵。这是一个地域观念极其强烈、政治性格极其保守的军事团体，与孙中山领导的国民革命事业，没有多少关系。
张治中很清楚，所为的“建国桂军”，依然是一支落在时代后面的旧式军队。军校官长对待学生的方式，基本上还是旧军队的一套。中队长出来进去，都拖着一把长刀，遇有违纪的学生，不由分说，翻转刀背，就是一阵猛砍。从这些官兵中，看不到有什么远大的抱负，也谈不到有什么革命的精神，有的只是一个极其封闭的地域派系而已。说穿了，桂军军校只是桂军总司令刘震寰一个私立“军塾”而已。张治中心想，自己是一个外籍人，要想在这个封闭的小圈子里有大作为，不啻是一个梦想。
桂军军校，1924年的夏天由虎门搬到广州。恰好，在这年的春天，黄埔军校刚刚创办，该校大多数教官都是保定同学，他们要张治中参加“黄埔”的工作，但他自己觉得不好意思：第一，他是应伍肖岩约到广东，帮他办桂军学校，他若离开桂军军校，对不起伍；第二，廖仲恺先生当时兼国民党的各军校：黄埔军校、桂军军校外，另外还兼滇军干部学校和一个陆军部办的军官学校的党代表，廖先生同他讲，桂军军校总要有一个人负责，叫他不必到“黄埔”，第三，加伦是苏联总顾问，他们桂军军校也有一位俄籍女顾问糜娜，和他在学校工作上合作很好，她也不希望他离开。
张治中又来到了人生的十字路口，是继续留在桂军军校，还是到黄埔军校，心里十分犹豫。后来，他还是作出了去黄埔的决，没想到这个决定，他又一次选择对了，他不仅成了黄埔军官学校建校时的精英，而且为国民党黄埔军校的建设和发展作出了重要的贡献。