這段時間以來，高懷遠停止了到他府上走動，顯然也已經倒向了趙昀那邊，雖然還會時常給他送一些芙蓉膏之類的禮物，但是以前的那種三天兩頭拜見他的情況已經不複存在了，史彌遠有心想將高懷遠招至府中警告一下，但是考慮到他也正在想法趕高懷遠出京，於是便也斷了這個念頭，這些日子他自己也更加深入簡出了起來，整日除了在府中聽一些有關人等對朝政的匯報，看些地方的奏章之外，就隻剩下抱著煙槍抽煙泡了。
不過史彌遠忽然想起來一件事，現在他越來越離不開這種芙蓉膏了，即使半天不抽，也難受的要死，隻要抽上一口之後，便會覺得十分舒服，精神肉體都十分放鬆，這讓他終於開始感覺到了不安。
於是他便又請了幾個禦醫，為他診治身體，並且讓他們看看這種芙蓉膏到底是不是毒藥，但是這些個禦醫沒見過這東西，也說不出來個所以然，雖然有禦醫認定此物之中有米囊花的成分，但是這個時代畢竟醫術方麵對於罌粟的成分還不確定，更不可能知道它的危害，隻是知道此物也是用來止咳、止瀉、止痛的藥物，故此鼓搗半天結論還是沒事！
史彌遠雖然對芙蓉膏放心下來了，但是卻又有了一種擔心，眼下他吸的這種芙蓉膏，都是高懷遠一手提供給他的，而高懷遠隻說這種東西乃是海外藩商帶來的東西，卻一直沒說得自何人之手，假如將高懷遠趕出臨安的話，以後豈不斷了他的糧了嗎？現在史彌遠已經徹底離不開這種東西了，於是便派人去找高懷遠，向高懷遠打聽何處還能購得此物。
結果高懷遠的回答很讓他沮喪，高懷遠對派去的人說，此物乃是一個藩商從很遠的地方攜來，具體地點他也不知道，隻是每個月在泉州會有人給他送來一些，要是史彌遠想要知道出處的話，請史彌遠等一兩個月之後，待他查問過手下之後，再做答複。
史彌遠無奈之下，不敢輕易斷了這條線，生怕沒了這東西他沒法過日子，於是隻得將胡榘遞給他的派高懷遠到利州路為官的奏折給暫且壓了下來，等著高懷遠告知他何地能購得此物之後再說此事，於是便將支走高懷遠的事情暫時給拖了下來。
不過史彌遠還是不太放心高懷遠，指使在殿前司之中的手下時刻監控殿前司諸軍的動向，生怕高懷遠這段時間突然間發難於他，並且史無前例的將方書達招入相府之中，溫言安撫了一番，表示他對方書達的信任雲雲。
高懷遠當晚便得知了方書達被招入相府的事情，於是立即派人請方書達過府一敘，方書達也如約趕到了高懷遠的府中。
待方書達坐定之後，高懷遠也不提及史彌遠召見他的事情，而是對方書達說道：“方兄，今日愚弟請你過來，便是要告訴你，你的那封血書愚弟已經呈給了當今官家，官家十分高興，著令愚弟代為轉告方兄，隻要方兄以後忠於官家，便絕不會如同現在史相那樣冷落了方兄的！”
方書達立即站起來喜道：“多謝賢弟代愚兄從中斡旋，請賢弟代為奏報官家，方某對官家絕對是忠心耿耿，披肝瀝膽絕無二心，雖然眼下史相當權，但是方某眼中卻隻有官家一人！”
高懷遠讓方書達坐下，嗬嗬笑道：“方兄的話我豈能不信！隻是這些話方兄眼下也隻能對小弟說說罷了！外人是萬萬不能讓他們聽到的！否則的話，恐怕史相那邊就容不得你了呀！不瞞方兄，現在因為聖上的關係，史相對我也很不放心，據說有意將我外放至利州路為官，假如果真如此的話，方兄你也要小心一點了！”
方書達心眼沒高懷遠多，聽罷了高懷遠的話之後當即便拍案而起怒道：“此話當真？”
高懷遠點點頭道：“據我在樞密院的朋友所說，胡榘他們已經寫好了奏章，準備奏請將愚弟外放至利州路，以我的品級，至多也就是讓我當個空頭的製置使罷了！此事假不了的！隻是時日早晚罷了！”
方書達頓時怒了起來，焦躁的在屋子裏麵轉了幾圈之後對高懷遠說道：“這老家夥真是兩麵三刀，今日還招我去他相府之中，和顏悅色的對我安撫了一番，說要我像你一般，隻要對他忠心，便忘不了擢升我！沒想到這老家夥背地裏麵卻要奪了兄弟你的殿帥之職，將兄弟你趕出京去！可惱呀！那麽兄弟你又有何打算？還不速速運作一下，不要讓史相將你外放？”
“不妨事！兄弟我自有辦法，這件事方兄就莫要操心了！隻是假如連我都要被趕出京的話，恐怕方兄前途也堪憂呀！史相眼下打算讓史鬆接替我為殿前司都指揮使，至於步軍司那邊，史相恐怕也是遲早另有安排的！”高懷遠真真假假的對方書達說道。
方書達聞聽之後不由得開始緊張了起來，趕忙向高懷遠問計。
高懷遠搖頭道：“方兄且慢著急，眼下史相不放心的最主要的是愚弟，暫且還顧不上動方兄你呢，這件事還有回轉的餘地，你且暫時稍安勿躁，回去管好你的步軍司諸軍，過些日子我想出辦法之後，自會通知方兄的！總之不管怎麽樣，兄弟都不會讓方兄吃虧的！”
方書達對高懷遠不存疑心，點頭答應了下來，惴惴不安的離開了高府，回到步軍司之中後，仔細思量了一番似乎有點琢磨出來了一點味道，雖然高懷遠沒有直說，但是他看高懷遠並不為即將被趕出京而擔憂，那麽接下來高懷遠該如何應對此事呢？他結合這段時間聽聞的一些消息，坐在家中琢磨了一晚上，終於下定了決心，眼下史彌遠明顯是靠不住了，連高懷遠他都不信任了，還可能會信任他這個曾經差點倒戈之人嗎？故此眼下隻有跟著高懷遠跑了，隻有這樣才有他出頭的日子。
高懷遠一句話說的很隱晦，讓他管好他的步軍司諸軍，那麽這句話就一定有深意，雖然現如今步軍司裏麵人員調動頻繁，幾個營中的主將都被換作了史彌遠的人，但是並不代表著史彌遠就徹底控製了這些兵馬，畢竟大部分步軍司的人都是跟著他起來的，還是有許多中低層的軍官聽命於他的，一時半會兒別人還真是奪不走他的步軍司大軍的指揮權，起碼他手中眼下還有弩雄武、左右虎翼營等兵馬，真要是有事的話，這幾營兵馬才是他的精銳，起碼用來彈壓其它幾營還是有這個力量的。
方書達於是披掛起來，出步軍司衙門開始在步軍司諸軍巡視了起來……
就在十月初三的這一天，史彌遠躺在榻上抽著煙泡，忽然間發現盒子裏麵的芙蓉膏已經快要告罄，於是懶洋洋的招手對手下人吩咐道：“你去找高懷遠，再索一些芙蓉膏回來，本相這裏的芙蓉膏已經快用完了！讓他再送一些過來！”
下人領命之後，立即出府到殿前司找高懷遠，但是卻沒有找到高懷遠，殿前司的人告知相府之人殿帥出城督訓去了，讓他晚上去高府尋找。
而這個下人也懶得費事，直接到高府告訴府中之人，要高懷遠回來之後，安排人送些芙蓉膏到相府之中供相爺使用。
高懷遠當晚回家之後，便得知了這個消息，對李若虎笑道：“看來老家夥用量越來越大了呀！現在還有幾天時間，就讓老家夥嚐嚐毒癮發作的滋味吧！其他那些人恐怕也快用完了吧？”
話音剛落，府外便有人求見，高懷遠擺擺手道：“去告訴他留言便可，就說我眼下不在府中！”
李若虎不多時便回來，笑著對高懷遠說道：“果真不假，是胡榘府上的仆役過來了，也是求藥的！”
高懷遠哼了一聲，笑道：“你安排人告訴他們，近期我未曾收到藩商的芙蓉膏，請他們稍候幾天時間，待到到貨之後，便會立即給他們送去！”
李若虎跑出去安排了一下，有人徑自前往相府和胡榘家將高懷遠的答複告知了他們，這一下史彌遠還真是有點著慌了起來，查看一下盒子裏麵的存量，剩下的分量也隻夠他維持兩天時間了，於是立即著人去找高懷遠，催高懷遠盡快送來。
而他為了應付不時之需，不得不熄了煙槍，打著哈欠倒頭睡覺，減少一點用量，如此一來，隻是半天時間沒有吸芙蓉膏，史彌遠很快便感到心煩氣躁，渾身都不舒服了起來，忍了一陣之後，又是頭暈目眩，又是渾身時冷時熱，連渾身上下的關節都疼痛難忍，什麽事情都做不下去了，焦躁的如同籠中困獸一般，滿腦子都想著吸上一口。
無奈之下史彌遠隻好又拿出煙槍，躺下點燃，幾口下去之後，便飄飄然了起來，身心頓時都變得十分舒坦，精神也煥發了許多，靜臥了一陣之後，這才想起來還有事情要辦，起身開始如同正常人一般的忙活了起來。
但是看著盒子裏麵越來越少的芙蓉膏，史彌遠又一次讓人去催高懷遠，盡快送來一些芙蓉膏，省的再受這樣的苦痛。