在当时，叩响泽庵家大门的大名除了前文中介绍的柳生宗矩以外，还有酒井忠胜、堀田正盛、板仓周防守重宗、小堀远州和佐久间将监等。当然了，在这些人当中，泽庵最喜爱的还是细川家卓越的嫡孙细川忠利。
细川忠利继承了祖父与父亲两代的文武之才，是元和宽永年间最为出色的大名。
忠利去世之后，泽庵称颂他是：“胸襟雪月，心里清泉，好事风流，出其群拔其萃，有德气象，仰弥高钻弥坚。”
此外，他还在忠利的肖像画上题字——公与余讲交异他。据此也可以看出，忠利和泽庵的友情是多么深了。在幽斋和忠兴的影响下，忠利在很小的时候就开始和泽庵交往。宽永九年（1632年）之后，两人的关系进一步加深。我们先来看一下泽庵被赦免之后，在江户的滞留时间：宽永九年七月返回江户一直到宽永十一年五月。接下来，宽永十二年十二月至宽永十三年十月。然后，宽永十四年四月至宽永十五年四月。最后，宽永十六年四月以后，长居江户。再来看一下忠利在江户滞留的情况。虽然忠利在宽永九年（1632年）十月从小仓被移封到熊本，但他在江户逗留的时间并不短。宽永十年十月进江户参觐将军，一直到宽永十三年五月才返回熊本。然后，宽永十四年三月至宽永十五年一月。
最后，宽永十六年三月至宽永十七年五月。可以看出，两人在江户的时间高度一致，肯定少不了深层次的交流。泽庵向来讨厌荣华富贵，成为将军幕下的一名显僧也许并不是他的心愿。泽庵在故乡但马结了一个草庐，日夜与风月为友，安静地生活，别有一番情趣。
宽永十二年（1635年）末，泽庵受将军之命不得不返回江户。在临行之前，他给但马国主小出吉英写了一封信，其中写道：
“受将军之召，我将于近日返回江户。在但马的这段时间，承蒙您的关照，深表谢意。”
此外，泽庵在写给小出吉英的另一封信中还写道：“这次突然被召回江户，我自己都觉得很奇怪。我现在年事已高，算是等死之人吧，即使回去了也中不了什么用，可是为什么又要召我回去呢？我已经习惯了在这里的生活，拐杖和草鞋就放在廊下，随时都可以出去。僧人本来就该过山林树下的修行生活，但现在很多人却对权势趋之若鹜，这真是令我感到羞耻。我素来对武家之事不感兴趣，这次被召回江户，也是迫不得已。”
泽庵对那些攀附权门的僧人充满了厌恶之情，对那个道德沦丧的乱世充满感叹。对泽庵来说，一箪食一瓢饮的生活足矣，出仕武家那简直就像是踏入苦海。
泽庵对将军家发动的紫衣事件非常不满，所以他非常不愿意出仕将军家。前文已述，紫衣事件只是公家与武家斗争的一个产物，但当时在暗中操纵这一事件的却是金地院崇传。他的这一举动直接促成了大德寺、妙心寺与镰仓五山的反目。
泽庵在信中所说的“僧人本来就该过山林树下的修行生活，但现在有很多人却对权势趋之若鹜，这真是令我感到羞耻”，其实就是对金地院崇传利用幕府权势，实现自己私利的讽刺。
在德川家光的再三邀请之下，泽庵最终回到了江户。他清楚地知道自己在那个时代中的存在意义，于是在文化方面做出了很大的贡献。
我们不能否认，如果没有泽庵，就不可能有柳生宗矩对剑术精神的深化；如果没有泽庵，也不会有细川忠利这样著名政治家的出现。
当泽庵在江户生活的时候，他的年轻朋友忠利在物质与精神方面给了他很多帮助。
泽庵不仅喜欢花，还喜欢茶，他会将忠利送给他的茶叶当作宝贝一样。此外，忠利还会送给泽庵一些应季的水果，以及各国的特产等，这对过惯了清心寡欲生活的泽庵来说，真的是受宠若惊。
在泽庵写给忠利的信中，随处可见他的感激与喜悦之情：
“昨日得您送来的礼物，甚为感激，特此修书一封，以表谢意。您昨天向我提出的问题，我思考了一日，但是还是没有得出结果。可惜现在白天太短，不知不觉就天黑了。若有结果，我一定再写信告知。”
泽庵在信中表达了对忠利的感谢，同时还慨叹白天太短。泽庵与忠利无话不谈，谈话内容涉及雅趣、治民和武道等各种各样的话题。当然了，所有话题的中心还是“道”，忠利是个诚挚的“求道者”，所以非常渴求泽庵的高示。同时，泽庵对忠利也是不吝赐教。
在忠利归国之前，泽庵给他写过一封信：“在您归国之前，希望能面见您一次。我手头有一本书，觉得可能会对您有所帮助。见面之后，我们也可以做一些交流。”从信中我们可以看到泽庵的谆谆教导之态，也可以看出忠利孜孜不倦的学习态度。
此外，两人还一起欣赏过能乐：“昨日承蒙您邀请，观看了《松风》，真的是非常有意思。那松树的道具，以及演员的演出都非常精彩。在观看能乐的过程中，我和柳生宗矩阁下都有点忘我了，这也足以看出演员技艺的高超。再次对你安排的精彩演出表示感谢。”
这次能乐演出是忠利特意为泽庵安排的。泽庵欣赏完后，特意写来感谢信，并对演员的表演大加赞赏。师父与弟子和睦欢乐的场景跃然纸上。
宽永十四年（1637年），忠利的身体出现了问题，不得不经常服用草药。这年十一月，他转居镰仓，安心养病。
精通医学的泽庵给忠利很多用药和养生方面的建议，而且还特意为他写了三本医学书籍：《医说》、《骨董录》和《旅枕》。
正当忠利的身体逐渐恢复的时候，九州的岛原、天草起义爆发了。由于忠利还没有完全康复，所以由他的儿子细川光尚带领部队出征岛原。
没想到，起义军的势力非常强大，不仅没有被消灭，反而把板仓重昌给打死了。没办法，宽永十五年（1638年）正月，细川忠利只能亲自披挂上阵，前往岛原戡乱。在忠利到达后的一个月内，岛原、天草起义起义就被镇压下去了。但是，由于战事的劳累，忠利旧病复发。宽永十六年（1639年），幕府允许他回江户养病。
在忠利戡乱的那段时间里，泽庵先是去了京都，参加大德寺开山祖师大灯国师三百周年祭的纪念活动，后来又回到故乡但马洗温泉，总之这段时间，两人很少有消息往来。但是，在宽永十六年（1639年）四月，泽庵和忠利几乎是同时回到了江户。
二人在江户度过了快乐的一年。宽永十七年（1640年）五月，忠利返回熊本，两人从此永别。
五月十八日，忠利从江户出发。当时，泽庵正在热海泡温泉。泽庵觉得自己的老躯沉疴已久，不可能再久留于世，所以很害怕没机会再见忠利一面。于是，他打算在忠利抵达小田原的时候，前去和他见上一面。但是，人算不如天算，恰好赶上了坏天气，他难以成行，只好作罢：
“天公不作美，此番无法成行矣，心中万般遗憾。待明年春天参觐之时，再与君相见。”
泽庵期待着来年春暖花开之时，能再次在江户见到忠利。但非常遗憾的是，宽永十八年（1641年）三月十七日，忠利在熊本病逝，享年五十六岁。
听到忠利去世的消息，泽庵心中充满了落寞与悲伤。他在写给小出吉英的信中感叹道：
“细川越中守阁下的病逝，让我深感世事的变化无常。原本希望在今年能再次相见，没承想现在却已天隔两方，实在是始料未及。”
在写给忠利的儿子细川光尚的信中，泽庵写道：“老叟听闻令尊去世的消息，最初一直不敢相信。后来得知此为实情，颇为悲痛。在令尊生时，承蒙他的诸多关照。本希望在他今年进江户参觐的时候能再见到他，没承想去年一去竟成永别。”
可以看出，泽庵在最初听到忠利去世的消息的时候，根本就不肯相信，觉得这是假的。佛家弟子追求看淡生死，不过从泽庵的这封信中，我们却能感受到他平凡人的一面。
细川越中守忠利法名妙解院台云五公居士。泽庵特意为其写了秉炬时的法语：
梦回五十有余年，一阵春风蝴蝶前。四海九州无处觅，离弦圣箭过西天。
正保元年（1644年），细川光尚在熊本城外为父亲修建了一座护国山妙解寺，并请求泽庵出任寺院住持。但是，泽庵已于宽永十六年（1639年）出任品川东海寺的住持，没有办法，只好推荐自己的同门耆宿启室座元法师出任妙解寺的住持，代自己向亡友祈福。