仙期这种态度，桓玄想到了，但也正是因为这样，他更加羞愧。下定决心，准备去安定三吴一带。
他明白，如果明着支援，不仅自己这边的人不同意，建康更不同意桓玄的兵进入东边，只能像上次一样，悄悄地进行。上次的老将辛景被留了下来，剩下能派的人，桓玄能想到的是索元。
在桓玄的坚持下，没有向朝廷报告，也没有和部下商量，点了一万将兵，准备出发。
不过，就在发兵前一天，就送来消息，朝廷派出冠军将军桓不才、辅国将军孙无终、宁朔将军高雅之击退孙恩，孙恩又逃回海上。向桓玄传递这消息的还是朝廷派出的到荆州的使者，桓玄似乎明白，相对于孙恩的闹，司马道子更害怕桓玄的不安分。
二天后，若云传书，告诉他万盖还在海岛，和她也有联系。桓玄总算松了一口气，随即又是羞愧，谢琰、谢肇等亲人被害，她应该很伤心，却掩起悲伤，让自己不用担心。
还有一则不算大的事，就是为了防止民众再相应孙恩，吴兴太守庾桓一口气又杀了几千平常百姓，这样做只能让民心更加背离。桓玄叹口气，合上竹简，救民于水火，他自问能做到吗？桓玄陷入抑郁状态。
又过几日，陶渊明也回来了，桓玄问他家中情况，他回答母子平安。儿子刚出生就让他到远方赴任，桓玄感到惭愧，问陶要不要把家眷接到荆州，他回答在江州住惯了，自己以后常回去看看就好。
桓玄笑说他妻子贤惠，陶渊明倒是毫不客气地点点头，说道:“拙荆为庐山隐士法赐之妹，修养甚好。”
“隐士？”桓玄暗想，大隐隐于朝，小隐隐于野，相较之下，还是自己的舅氏刘柳比较强，不禁笑了。陶看他笑得暧昧，说道:“法赐清高不理俗务，料是不肯出山，我劝灵宝还是不要打他主意了。”
桓玄见他会错意，也不解释，只是点点头，道:“我没事也不会逼隐士出山。”
大事不可能一直发生，除了在海岛上的万盖，桓玄的生活恢复平静，不过，自卑与羞愧，野心与实力，让他困苦，为了排解这些，他只能去找新的可以让他兴奋起来的东西。处理日常事务的时候，他看到了一个人，是他的第三个姐夫。
本来桓玄也无意打扰他，只是这个姐夫最近要到荆州的新安任太守，他觉得不见见实在可惜，就修书叫这姐夫顺路过来看看。
这个姐夫名叫王裕之，字敬弘，琅琊王氏，曾祖王廙是开过丞相王导的从弟，到他这里算是比较远的王氏外族。如今的王氏已不复当年，这姐夫这个时候到荆州任太守，说起来还不如自己年轻的时候。
可能是桓玄邀请的语气不对，只是这人也有趣，船行到巴陵之时，对左右说：“灵宝要见的不过是自己的姐姐，我让他们姐弟团聚，就不做桓氏赘婿了。“
于是，他就把自己的妻子送往桓玄处，这举动让他不知所措了，这姐夫为了躲避他，连自己的妻子都不要了？行事太不够意思了。
这个姐姐，也是在父亲桓温在世时就出嫁的，自己也就在父亲去世时匆匆看过一眼，长什么样都忘了，如果没有这一层血缘关系，还真和路人差不多。不过，能见到自己的姐姐，桓玄还是有点兴奋，这还是他第一个见到的姐姐，在王愉处的姐姐早逝，仲文处也没见到，倒是这个王裕之自觉。
家姐来的那天，桓玄和刘清亲自出门相迎，他还有几分愧疚，好像是自己拆散他们夫妻，刘清却说如果王裕之这样就能抛弃妻子，那留在那人身边也没意思，还不如回娘家。
姐姐小名川，也年近四十，依旧有她的风姿，也不负为桓氏女子。对于被丈夫独自遣回娘家，她好像也不太在意，大大方方地在这里住下了。
又经月余，姐夫连问候都没有信都没有，桓川倒是不着急，经常和弟妹刘清交谈论诗画，她未曾生育，十分喜爱桓家的几个孩子，自己也像个孩子，和他们玩得也开心。只是，在世俗眼里看来，这却是一位十分可怜的女子。
桓玄坐不住了，这个人太嚣张了，凭借现在的权势，派人把这姐夫暗杀了也不会有人说什么。不过，他还是很有教养的，不能随便动刀，于是，就让人调查姐夫的政绩，看看能不能抓到把柄。
回来的人报告说，这个太守整天不做事，沉迷山水，恣其游适。这下桓玄发愁了，他做了什么事，自己好可以挑事，但他什么都没做，却难以对他下手。当时的环境是做清闲的官最保险，如果有几分才气，还可以博得美名，实在不亏。
此时，他最爱的桓胤侄子也从家里到荆州，其他的桓胤是不会插手，倒是这件事让他也不开心了，他最不喜欢的就是有人看不起自己的叔叔，于是，他给叔叔出主意，说道：“他不见我，我们就去见他。“
“要我去拜访他？不可能。”桓玄当即回绝。
“他不是喜欢游山水吗？我们就邀他游山，再借机欺负他。”
桓玄摸摸自己侄子的头，说道：“胤儿，你都快三十，还这么调皮。不过……这个主意不错。”
刚刚安定下来的桓玄又不安分了，和桓胤商量着去何处游玩。从地理上考虑，为了方便那位姐夫，他们挑的地点是衡山，而且南岳衡山对应星宿二十八宿之轸星，轸星主管人间苍生寿命，南岳故名寿岳，也满足了他们猎奇的心里。
执笔邀请的是桓胤，桓胤的名声好，在荆州之地，受他邀请的人一般都不会拒绝，王裕之也不例外。
桓玄拖着桓胤，带着陶渊明，跟着人数位家仆，不顾刘清、仙期、范之等人的反对，就踏上衡山之旅。
又在巴陵，桓玄和这个姐夫碰面了，从外貌上来说，这姐夫还配不上自己的姐姐，他形貌算不上猥琐，但身材短小，比一下，差不多矮自己一个头。
一见面，桓玄就直接报出自己的名字，王裕之显然愣了一下，不过想想桓胤是他的从侄，就不觉得奇怪了。
妻弟是妻弟，南郡公是南郡公，同游是同游。不想见妻弟，是因为和妻子关系不和，不想见南郡公，是因为看不惯他的盛势与无情，但如果只是和自己同游，他还是欢迎的。
一番接触下来，桓玄虽然觉得此人的外貌偏下，但是行为端庄有大家之气，算是弥补不足了。问起他为何把姐姐搁在自己那里，他回答如果妻子想回来，自然就会回家。
谢安的女儿和王珣不和，谢就直接把女儿接回家，难道自己会容不下姐姐？但是在他眼里，面前的人难和王珣比肩，暗想着找个比他好的人，把姐姐再嫁出去算了。这事也先放下，至于桓胤，似乎早忘了自己邀这人出行的初衷了。
去衡山路上，桓玄又见他走路平平稳稳，坐下端端正正，开玩笑说道：“卿坐起端方，可谓‘弹棋八势’。”陶渊明和桓胤都忍不住笑了，这个桓玄比喻虽然有点不伦不类，但确实形象。
弹棋，博弈一种，开局前双方会先摆好棋子，然后相互攻击，为了让自己的棋更稳固，通常会摆得上窄下宽。
虽然这话有点夸他，但这比喻用的实在让人不开心，虽说不上记恨，但王裕之是更不喜欢这妻弟了。
这次衡山之旅，还算尽兴，游山赋诗，饮酒听乐，如此而已，当然，他也不忘记录一行人游山时所作的诗，并作一序为《南游衡山诗序》：
岁次降娄夹锺之初，理楫将游于衡岭，涉湘千里，林阜相属，清川穷澄映之流，涯涘无纤埃之秽，修途逾迈，未见其极，穷日所经，莫非奇趣，姑洗之旬，始暨于衡岳，于是假足轻舆，宵言载驰，轩涂三百，山径彻通，或垂柯跨谷，侠献交荫，或曲溪如塞，已绝复楷或乘步长岭，邈眺遥旷，或憩舆素石，映濯水湄，所以欣然奔悦，求路忘疲者，触事而至也。仰赡翠标，邈尔天际，身凌太清，独交霞景，周览既毕，顿策岩阿，管弦并奏，清徵再响，思古永神，游气未言。
在桓胤看来，自己叔叔写的肯定是好的，陶以为，光从写景上来说，确实写出了山径、、垂柯、曲溪的特色，而他对于情绪的描摹也符合当时的心境，但向来质朴的他还是不喜欢这种近于玄言的诗序，一笑了之。
游完了，目的没达到，姐还是住在江陵，只算是自己暂时从俗务中解放出来，算算时间也要回家了。
这次回家，没了上次激动的相迎，仙期把一封万盖的信转给桓玄，他手心微微出汗，仙期安慰说没事，如果他出事，就写不了信了。
最终还是拆开了纸装的丝信，他在里面只说自己已经混进孙恩内部，在海边负责接应提供给孙恩的财物。而且，以他的商业头脑估计，这些东西只够那里再吃几个月，预算到年底，孙还会出海掠夺一次。