发生了戏剧性的突变。

5月19日，蒋介石在郑州与冯玉祥会晤，商讨继续北伐和对日交涉事宜。说到快要成功的北伐，大家都笑。说到对日交涉，都发愁。蒋介石叹了口气对冯玉祥说：“膺白（黄郛）外交办理失败了，一般老先生均不满意。”

冯玉祥趁势建议：“何不任命王正廷为国民政府外交部长，让他与日本人交涉？”

蒋介石知道王正廷是冯玉祥的幕府中人。为了拉拢冯玉祥继续北伐，同时也为了确保自己在北伐即将大功告成之际，不因“亲日”而被新桂系等政敌所攻击，他决定采纳冯玉祥的意见。

第二天，在事先没有任何征兆的情况下，蒋介石致电黄郛，让对方“暂行辞职，并望从速”。

黄郛万万没有想到，蒋介石会在这个时候以突然袭击的方式将他免职。后来他在给张群的一封信中写道：“济案所受刺激，公私两项皆为生平未有之伤心事……实令我没齿不能忘。”

悲愤交加之下，黄郛立即致电南京政府，要求辞去本兼各职。

同为蒋介石的幕僚，蒋介石视张群为部下，对黄郛则相当尊敬，平时见面都称黄郛为二兄，黄郛的夫人为二嫂，绝不以普通宾客相待。见义兄真的发了火，蒋介石也慌了，他连忙给黄郛发去电报，一面解释情况，一面劝黄郛以大局为重，不可一并辞去兼职。担心电报说服不了，蒋介石又让时任国民政府主席的谭延闿出面，致电黄郛慰留。

黄郛的个性与何应钦等人有很大不同，属于外柔内刚型，一旦做出决定，绝不轻易动摇，而且他是见过大世面的人。他始终不肯加入国民党，仅靠私人关系帮蒋做事，本身也说明，对何应钦适用的一套在他身上并不能够奏效。

黄郛自此离开政坛，带着妻女到莫干山隐居去了。后来济案解决，他的朋友曾向黄郛提出，可以由这位朋友出面，请蒋介石在济案纪念周上加以申明，以