1961年1月底，胡喬木為中央工作會議起草《中共中央關(guān)于認(rèn)真進(jìn)行調(diào)查工作問題給各中央局，各省、市、區(qū)黨委的一封信》。胡喬木寫完文件，就遵毛澤東之命赴湘調(diào)查。毛澤東的目的是要他們?nèi)マr(nóng)村獲得第一手材料以“駁斥國內(nèi)外敵人和黨內(nèi)右傾機會主義分子，或者不明真相抱著懷疑態(tài)度的人們對于人民公社的攻擊、污蔑和懷疑”，從而“長自己的志氣，滅他人的威風(fēng)”。然而，胡喬木送上來的材料卻讓他大失所望。

毛澤東要胡喬木去調(diào)查，證明右派分子的話講錨了，而胡喬木匯報上來的材料恰恰說明右派分子的話沒講錯。不過，毛澤東并沒有因為胡喬木匯報上來的材料不符合自己的要求而責(zé)怪他，反而對胡喬木報送的材料十分重視，自己的家鄉(xiāng)比1959年回去時間題嚴(yán)重多了。毛澤東將此信和材料批轉(zhuǎn)給湖南省委第一書記張平化，要他印發(fā)給全省三級干部會議討論；隨后又寫信給汪東興，讓汪東興打電話給湖北省委書記王任重和王延春，“幫助湖南同志解決一些問題”，并讓汪東興將此信轉(zhuǎn)給還在湖南調(diào)查的胡喬木。

然而，胡喬木卻把毛澤東對家鄉(xiāng)問題的重視當(dāng)作毛澤東又想反“左”的信號。于是1961年5月，當(dāng)胡喬木結(jié)束調(diào)查趕回北京向主席匯報時，他談到了反“左”的問題。談話中，胡喬木為廬山會議糾“左”未能持續(xù)下去而深感遺憾。他還談到廬山會議時‘的一件事，就是當(dāng)時劉少奇曾經(jīng)想提出寫個反“左”文件的建議。形勢已經(jīng)如此，毛澤東自然說不出什么，他只是說：“啊，有這回事！”

胡喬木的這次談話直接影響了他后來的政治生涯。不久，中央召開會議，就在這次會議上，胡喬木向毛澤東匯報廬山會議期問劉少奇準(zhǔn)備建議搞一個反“左”文件的事傳了出去。這件事引起劉少奇對胡喬木極大的反感。在會議上，劉少奇嚴(yán)厲地批評了胡喬木。結(jié)果，會議還沒結(jié)束，胡喬木的老毛病——神經(jīng)衰弱犯了，且來勢兇猛以至于無法工作，不得已，他向中央寫了報告，提出長期病休。