司马相如原以为可以安然无事。哪知又有人密告他贪污，说他出使西夷时，受了对方的贿赂。这自然是诬告。西夷愿意内附，原在贪图赏赐，哪有财物行贿？而司马相如又唯恐西夷不内附，有求于人，只当行贿，不宜受贿。况且他正从岳家分得一大笔财产，何必又受西夷之贿？凡此皆是情理上说不通的事。

可能仍旧是吃了他口吃的亏，对此事竟无法辩白，也可能他因为立功万里而横遭打击，心灰意懒，不作辩白。总之，在这件案子上，他得到免职的处分。

闲住了一年多，武帝又想起了他，复召为郎——那是他第三次做这个官，但看破仕途，官兴已大不如前。同时也因为生了消渴疾——糖尿病，不耐劳苦，常请病假。好在文君有钱，生活优裕，不妨在家饮酒作文，享他的清福。偶而武帝巡幸离宫别苑，也召他侍从。一次在陕西囗囗县东南的长杨宫，因为武帝喜欢亲自猎射熊与野猪之类的野兽，容易发生意外，特地作赋谏劝。他的几篇有名的赋，几乎都为武帝而作，其中有一篇例外，那就是《长门赋》。

汉武帝的第一个皇后，是他的表姊妹，馆陶长公主的女儿。馆陶长公主尚堂邑侯陈午，生女小名“阿娇”。当武帝已被封为胶东王，大约五、六岁时，馆陶长公主携女入宫，探望胶东王的生母王夫人，把她的那个早慧的内侄抱在膝上，戏谑地问他将来愿意娶什么人作妻子。指这个。他不要，指那个、他不要，最后指着她的女儿问：“阿娇好否？”

胶东王笑着道：“好”，说是“若得阿娇作妇，当作金屋以贮”。这就是大家耳熟能详的“金屋藏娇”的典故。但这一番戏谑，竟致改变了历史，因为弄假成真，馆陶长公主真个向景帝提议，中表联姻。景帝最听他姊姊的话，欣然同意，立阿娇为胶东王的妃子。