等到虞允文他们进城之后，这个消息更是已经传得沸沸扬扬，大家面面相觑，脸色都不太好看。但是虞允文并没有放弃，而是决定按原定计划求见夏王李仁孝，“事情还没定下来，就有挽回的余地！你们想想，这些传言都只是说金人来了，却并没有说西夏已经答应了啊。无论如何，绝不能让金夏结成联盟，如果那样的话，收复中原就至少要多等十年时间，太长了！”
夏王李仁孝虽然年方弱冠，但亲政已有多年，性格冷静，处事老道。当初虽然被白莹钰的计策所利用，但李仁孝却借机除去了权臣任得敬，将大权全部抓到自己手中，如今的西夏国力蒸蒸日上，估计很快就能更胜从前。
面对西夏历史上的第一明君，初次出使西夏的虞允文却能应对自如，令李仁孝对其刮目相看。尤其是虞允文深厚的儒学修养，更是令酷爱儒学的李仁孝大感亲近，而赵军的可怕战斗力与赵抗守信的名声也令其颇为心动。但是，金国毕竟现在还是天下（中华文化圈认为的天下）第一强国，而且两国毗邻，赵军再强也是远水解不了近渴，所以饶是虞允文说得天花乱坠，西夏最后还是决定保持中立。
不过虞允文私下里对这个结果却很满意，“夏人短见，汉化虽然积极，却都是表面文章，精华没学到多少，糟粕则一样不落。再加上夏王为人过分忍让，厌恶兵事，西夏国虽能繁荣一时，却不可能对我国构成多大的威胁。”
而且虞允文还成功地挑拨了金夏之间的关系，使得以后西夏几乎不可能给予金国实质性的支援，这令他相当满意。而在西夏短暂的逗留期间，虞允文还乘机记下了当地的地势风土，为日后征服西夏做准备。
使命已经完成，虞允文他们自然是立即回国了，但他却带着大家折向西南，进入了汉人极少涉足的吐蕃境内，高原稀薄的空气和寒冷的气候固然麻烦，但大家身体强健，倒没有一个病倒的。而姑娘们更害怕的是那毒辣的阳光，晒的时间稍长一点就会脱皮，好在虞允文会说吐蕃语，他从牧民处买到了一些毛皮外衣，足以遮蔽全身，姑娘们才不再叫苦连天。但是皮肤变黑是免不了的，于是一路上她们都在讨论，该用什么方法从赵抗那里弄来那种能让皮肤白皙的药膏
“大人，听说您是天下少有的孝子，在家侍候母亲十几年，怎么这一路上您好像熟得很啊？”，一个女卫突然问道。
“母亲得病是我二十三岁的时候，而我十八岁就开始游历天下以增长见识。我是四川人，家乡离这里并不远，来过这不足为奇。毕竟如果要北伐中原、收复失地，西夏的力量还是很重要的。而且若真的有那一天，西夏这块分裂出去的领土，也一定要设法收回，所以我在游历时，对西夏边境一带的地貌和风土都特别留意过。”
“可吐蕃您怎么也这么熟悉啊？汉人中间除了少数商人，很少有人会去那里的。”，这个女卫不依不饶地继续问道。
“当初学吐蕃语只是因为好奇，不过很快我就发现，吐蕃地处高原，居高临下，战略地位极为重要。如果与我们敌对的话，会是一件相当头痛的事，所以从此就对此地的事情特别上心。”，虞允文耐心答道。
“大人您可真是了不起，难怪陛下对您那么看重呢！”，这些可不是女卫们在拍马屁，这几个月下来，虞允文的能力、人品与气度已经赢得了她们衷心的敬佩。再加上虞允文仪表堂堂、前途远大，本就是赵国很多女人心中的白马王子，要不是虞允文的君子之风令人不敢过于亲近，以女卫们的江湖作风，只怕已经有人主动投怀送抱了
俗话说这女人凑在一起，必然话多，何况是十八个女人呢？如今无事一身轻，而四周又看不到多少人烟，女卫们说起话来更是滔滔不绝，连虞允文也没有办法。
“大人您今年也三十多岁了，有孩子了吧。”，女人是很八卦的动物，很快就问到虞允文的家庭上去了。
“有两个孩子，老大十岁了，小的才六岁。”，虞允文随口答道。
“那他们的娘呢？一定是个大美人吧！”，虞允文由于为赵抗效力的时间太短，除了他是孝子这点外，大部分人对他的家庭状况可以说是一无所知。
“嗯，不过现在已经改嫁”，虞允文答道，眼中透出深深的忧伤。
“大人，对不起，我不该问这个问题的，让你难过了”，那个提问的女卫忙不迭地道歉，嘴里嘀咕道，“那个女人真是坏死了，大人您这样的好男人天下少有，她居然不知道珍惜！”
虞允文却摇摇头，“不能怪她，其实她是一个好媳妇”，受不了女卫们好奇的追问，虞允文终于将他当年与妻子劳燕分飞的真相说了出来
据传言说，虞允文的妻子是因为受不了服侍公婆的辛苦，再加上对虞允文因为母亲身患重病而放弃功名一事不满，才改嫁他人，其实并不是这样。
“当初在母亲得了那种怪病之后，连大夫都不愿上门诊治，她却坚持服侍了七年之久而没有过任何怨言，实在是天下少有的好妻子、好媳妇。”，虞允文渐渐回忆起了那段不堪回首的往事。即使虞允文决定放弃科举时，他的妻子虽然有些不理解，但还是支持他这么做，虞允文更是感激万分。
可是，虞允文的妻子出身名门，当初他的岳父愿意将女儿嫁给虞允文这个家世一般的书生，是因为看出他有远大的前途。可是自从虞允文因为母亲病重而放弃科举之后，他的岳父对此极度不满，觉得自己当初的投资全白费了，当时就要女儿改嫁。
不过虞允文夫妻伉俪情深，绝不愿意就此分开，他的岳父后来又想到，反正虞允文的母亲病势沉重，想来也活不了几天，等她一死虞允文便可以解脱。以他的才能，加上自己的提携，要飞黄腾达那还不容易？于是，他的岳父就暂时忍耐了下来。可谁想在虞允文夫妻的精心照料下，虞允文的母亲虽然病势仍然一天天加重，可就是死不了，这一拖就是六年多过去了。
虞允文的岳父再也忍耐不下去了，终于向小夫妻俩发出了最后通牒，说是他们再不分开，他就要不顾身份对虞家动手了！迫于无奈，夫妻俩只得含泪分开，从此那两个儿子便都成了没娘的孩子。而虞允文从此便一边带大孩子，一边服侍父母，又坚持了六年。这六年里，前来提亲的都快把虞家的门槛踏坏了，但虞允文在这件事后已经心灰意冷，至今还是孑然一身