因為江寧府廩生棒殺蔡京、李邦彥一案，吳子龍被迫引咎辭去禮部尚書之位。此舉不啻公告天下，吳子龍乃鏟除大宋之禍害，蔡京、李邦彥兩大奸佞的主事者。他的去位，雖然有人拍手稱快，但更多的人扼腕歎息，甚至憤憤不平，一些人上書請朝廷勿要讓忠良寒心，一些人廣張揭帖為吳子龍鳴冤。
吳子龍執掌禮部以來，著意提攜理社的後進，為國家選材無算，門生遍布朝廷上下。但他律己甚嚴，雖朝夕門庭若市，卻不曾受人一文錢禮，所得俸祿的節餘也用來資助貧寒士子。理社後進的才俊當中，感念吳子龍恩惠的人極多。因此，他雖然被迫辭官，但大多數士子和普通百姓卻不以為他做錯了事。送別那天，除了陳東等清流重臣之外，鄂州及附近州縣官吏，尚未入仕的書生上千人，自覺前往武昌門碼頭相送。沿岸的百姓，觀者如堵，更為吳子龍大聲鼓噪叫好，熱鬧得仿佛不是送別，而是迎接新官上任一樣。
吳子龍應好友及門生相邀，將往杭州著書立說。武康縣乃吳子龍久居之地，他在西湖畔買了一處農家院落隱居下來。當年蔡京秉政，吳子龍隻是武康縣令。義士胡可及刺死杭州知府蔡鋆，胡可及被朝廷處以淩遲之刑。提轄武鬆盜取胡可及遺骸後，吳子龍公然將胡可及安葬在西湖畔，題墓碑以“大宋之義士”讚之。雖然東南州縣數萬人上書聲援，吳子龍因此第一次被貶丟官，此後他也一直以此為榮。
官船離開鄂州後，一路順江而下，每在一處停泊，當地清流都盛情相邀。對於這樣的應酬，吳子龍一律推掉，但消息傳出去，許多廩生都到碼頭上拜望他，對這些慕名前來探訪的人，吳子龍到不拒絕，無論對方聲望如何，財勢如何，他一律以禮相待，隻是宦囊單薄，前來拜訪的士人，隻有粗茶淡飯，船家小菜招待。然而，人人皆以得禮部尚書一見為榮。
吳子龍早年有嫉惡如仇之性，擔任禮部尚書後，更痛感官員良莠不齊，人人以利益相交，又以利益相互侵軋。朝廷命官己身不正，以至汙吏橫行，上行下效，積重難返，人心淪喪，世風日下。禮部革退了一個貪官，從前並無劣跡之人坐上官位，結果在很快又在渾濁的官場風氣中墮落下去。這種情況，並非是斬殺一兩個大奸大惡之徒所能扭轉。因此，吳子龍認為要挽此末世之衰，須得用重典和教化人心雙管齊下不可。他覺得本朝的“宋刑統”失之於過寬，已不能起到匡扶世道人心之效，隻是他身為禮部尚書，既沒有時間精力，又不好幹涉刑名之事。如今雖然丟了官位，他反而一身輕鬆，決心聖人所謂“導之以禮，齊之以刑”，編纂出一部名為的“宋禮法”新刑律。這件事他在書信中與很多同道好友，以及弟子門人都談及過。
到了杭州隱居下來之後，吳子龍就閉門謝客，與若幹門人一起研討禮法，著書立說。但是，朱森來訪，吳子龍卻不能不見。朱森既是理社元老，又趙柯的國舅。他在竹林書院講學育人，聲望不下於陳趙曹吳等人。陳東秉政後，理學大興，曹良史、吳子龍等人都位高權重，相互間也有衝突，唯獨朱森超然於朝政之外，與眾人的情誼未變。但當理社不得不改奉“趙杞”為天子時，身為趙柯之國舅，朱森未出一言相責。單單這分度量，就令吳子龍不得不佩服。
杭州府郊外，一處竹林掩映青磚泥瓦的院子，此處便是吳子龍隱居之所。
書齋內彌漫著股墨香，桌上堆積著字跡工整的手稿，書桌左邊是包括“尚書”經注在內的曆代刑律，右邊是周禮、易經、論語等儒家經注，在滿地的典籍中間清理出一塊狹窄的空地，擺了一張小方桌，桌上一壺兩杯，吳子龍和朱森對麵而坐。
“寒舍簡陋，”吳子龍難得十分客氣，笑道，“這刑名之學，朱兄有什麽見教麽？”
“刑名之學，並非愚兄所長。”朱森到不是客氣。同樣想要挽救世風日下，他專注於節製人欲，順應天理之學，與趙行德頗有共鳴之處，但在刑名上麵，他卻涉獵得不多。吳子龍窮盡心血編寫《宋禮法》，等閑人見不到他，見到他的人，必然要談及這本尚未完成的煌煌巨著。在吳子龍執意請求下，朱森斟酌道：“吳兄匡扶人心的宗旨雖然不錯，但吳兄欲盡廢‘八議’之法，隻怕在朝堂上的阻力極大，再如‘貪墨受賄者，縱一錢一線之微，亦坐贓去職，終身不得敘用。貪墨受賄值千錢者，流一千裏，每千錢加流一千裏，貪墨過三千錢者，處以絞殺。’是否過於嚴苛？如此照此刑罰，我朝的官吏，隻怕沒有幾個不處絞刑的。”朱森暗想，《宋禮法》如此之嚴苛，待吳子龍聽說那件事情，不知又會如何主張？
“貪墨受賄，絕不可姑息養奸！”吳子龍搖頭道，“朱兄，你生在富貴之家，區區一千文錢何足掛齒，但你有所不知，可是對升鬥小民而言，一二十文往往就能逼出人命來。天下熙熙皆為利來，受賄的官員也要給人家好處。貪墨和賄賂，都要成倍，甚至幾十倍的壓在百姓身上。地方官不敢得罪士紳豪富，往往要取之於民，朝廷的賦稅本來已經過重，百姓怎能再承受起濁物的敲詐勒索呢？和百姓因貪賄所受之苦難相比，區區免官、流放之刑，我還嫌輕了呢！”吳子龍喝了口茶，又歎道，“至於‘八議’之說，議親，議故，議貴，議賓之類，雖然是上古之製，但今時足以助長奸惡。蔡京何人？三朝老臣，因此朝廷要殺他千難萬難，可天日昭昭！天日昭昭啊！王子犯法，不能與庶人同罪！‘八議’之說，使律法隻能製約雞鳴狗盜之輩，而姑息了真正的巨奸大惡！法網之失，可過吞舟之巨鯨，令我大宋綱紀無存，落到如今這田地，正是姑息養奸之過！”他講到激動處，一掌拍在地上，震得桌上杯盤搖晃。
朱森皺眉，心中覺得這說法危言聳聽，但他此行有求於吳子龍，也不直接反駁他，隻沉吟道：“這兩條且先放過，那‘男女私奔，相差四十歲以上婚配，寡婦居喪不滿三年再嫁，與諸奸相同，有夫奸者並斬首棄市，無夫奸者男杖五十，女仗三十。’這律令前朝都聞所未聞。男歡女悅，律法能管人家的家事嗎？”
吳子龍正色道：“這些情狀，要麽不合禮法，要麽多強逼強取。所以如此......”他自己也覺得有些勉強，又特意解釋道，“所謂出禮入刑，禮法之外，便當是刑罰。前朝律令粗疏，在禮法和刑罰之外，還有許多空白之處，所以才導致世風日下，遵守禮法的人反而不容於世。光靠教化已不能糾正世風，如今唯有矯枉過正，‘導之以禮，齊之以刑’，製定一部真正‘出禮入刑’的律令來，才能使奸人無隙可乘，讓世人都知道我大宋的禮法不是兒戲。”
“買賣奴婢之事，曆朝也未加禁止？”
“曆朝雖未禁止，但始作俑者，其無後乎？”
朱森點點頭，歎道：“那‘隻要有人旁證，不需契據便算訂約’，豈非讓人都開不得玩笑，大家說話都得小心些了。”
“君子戰戰兢兢，如臨深淵，如履薄冰，”吳子龍道：“豈能輕易口出誑言，再說了，這旁證者若是作偽的話，也要受反坐之刑的。”他開始雖然虛心求教，但朱森多質疑了幾次，心中也有不高興了。
朱森暗道“如此苛刻的律令，必不能通行於天下”。但他深知吳子龍的個性，也沒有一意勸說，反而提起了不久前發生在舒州的另一件事。有幾個無恥之徒，幹了逼良為娼之事，苦主到官府告狀，官府懼怕那奸徒的靠山，隻拿了幾個替罪羊，見苦主不服，反而將苦主戴枷示眾。朱森的一名門人恰巧得知此事，寫信告訴於他，此事官府、州學都向著奸徒，苦主無依無靠，在這麽拖下去，隻怕要逼出人命來了。朱森雖然有心懲惡，卻因為國戚的身份，恐怕招人物議，便找吳子龍出手幹預。
“奸賊！”果然，朱森尚未說完，吳子龍就拍案而起，憤然道，“此等奸徒，若不嚴懲，我們和蔡京李邦彥何異？”
他負手而立，因為極度的憤怒，臉色有些可怕：“最為可恨的，是這些人居然能一手遮天，使一方百姓不知我大宋之有禮法！敗壞風俗，使世風日下。依我看，戴枷示眾的，應該是舒州知州和學政！”他轉了兩圈停下來，按捺住怒氣，對朱森道，“朱兄放心，此事會有一個公道。”見朱森臉上猶有疑色，吳子龍又道：“俠以武犯禁，遼軍北退之後，刑部一直想把民間的火銃都管起來，但此事哪那麽容易，溫循直有求於我，這事情，他若不管，他的事情，我也不管了。若奸邪不除，大家犯禁才好呢！”
“如此，我代一方百姓，”朱森點點頭，正色躬身施禮道：“謝過吳兄高義。”