咸丰三年三月，魏源遭到统兵大员杨以增的弹劾，以迟误文报的罪名被朝廷革职。随即又奉命赴安徽入周天爵军营参议军务。同年十一月，魏源奉旨官复原职。但魏源已无心仕途，以年逾花甲、体弱多病为由，辞官归隐。魏源的家眷居住在南京的“小卷阿”，由于此时的南京已被太平天国占领，魏源无家可归，只好侨居兴化。至咸丰六年秋，魏源移居杭州杜庆寺东园僧舍，出家为僧，法号自称承贯。

　　从咸丰四年到咸丰六年这三年时间里，是魏源一生中最消沉、最凄凉的时期。史料对魏源在这段时间的行踪记录较为简略。因此，人们对魏源晚年生活的去向颇具争议，各种猜测、传闻由此而生。归纳起来主要有三种说法：第一种说法是魏源在这段时间侨居兴化，潜心研究学问，两耳不闻窗外事；第二种说法是魏源投靠太平天国，被洪秀全聘为“乡三老”；第三种说法是魏源在这段时间曾回南京“小卷阿”与家人团聚，天王洪秀全重其才，欲聘魏源为军师，遭到魏源拒绝，为避杀身之祸，魏源被迫逃往杭州，遁入佛门出家为僧。

　　第一种说法主要根据魏耆所写的《邵阳魏府君事略》。魏耆在文章中提到：“时避兵侨兴化，自归不与人事，惟手订生平著述，终日静坐，户不闻声。”此后，一些研究魏源的专家、学者大都以此为据。因为魏耆是魏源的儿子，他为父亲所作的家传，史实内容比较真实，是现存魏源传纪中成文时间最早、文字最多、内容最为翔实的一篇，可信程度较高。因此，这一说法被大多数人认可，也流传最广。但是，也有人提出质疑，认为魏耆是魏源的儿子，难免有遮丑、溢美之词，也不可全信。况且，魏源在这段日子里也不单纯是闭门著书，对他参与的其他社会活动，魏耆在《邵阳魏府君事略》中没有记叙，史料也记载甚少。因此，不能断定魏源没有参加过其他的社会活动。

　　第二种说法主要来源于刘禺生的《世载堂杂忆》和李柏荣的《日涛杂著》，以及叶德辉等人对魏源的攻击。

　　据刘禺生《世载堂杂忆》记载，被誉为“中国留学生之父”的容闳，十分关注太平天国的发展，于1860年到太平天国都城天京，天王洪秀全召见了他，并授予他一枚四等爵位的官印，容闳坚辞不受。在天京逗留期间，容闳曾听说过魏源为太平天国“乡三老”的事，但又特意说明“予未得见”。这“乡三老”指的就是梅曾亮、包世臣、魏源。后来，刘禺生与容闳在香港相聚时，容闳提到过这件事。但毕竟是辗转传闻，不足为据。

　　另据李柏荣《日涛杂著》第一集《魏源轶事》记载：“默深声名既宏伟，又值洪秀全建国南京，提倡文化，设科取士，乃聘江宁梅伯言（梅曾亮）、泾县包慎伯（包世臣），暨默深（魏源）为‘乡三老’。……因侧身洪廷，遂遭平墓之灾。知清室中复后，忌刻南方儒士之深”，李柏荣此说，未注出处，尚无其他史料佐证，亦不足为据。

　　第三种说法主要来源于民间传说和魏氏族人的传闻。在魏源的故乡隆回县金潭一带，至今流传魏源“拒绝天王”的故事。说在咸丰五年，魏源冒着危险从兴化赶回南京“小卷阿”看望身患重病的妻子严氏，被太平军抓获。天王洪秀全重其才，极力劝说魏源归顺太平天国，欲聘魏源为军师。但魏源不被高官厚禄所利诱，予以拒绝。洪秀全软硬兼施，派御医给魏源的妻子看病，企图感化魏源。魏源深知倘若答应，会毁了一生的名声；若不答应，必有灭顶之灾。他被迫离开南京，逃往杭州，遁入佛门出家为僧。

　　2000年，笔者专程前往南京采访了中国科学院院士、著名物理学家、声学家、南京大学资深教授魏荣爵先生，他是隆回县金潭人，他的祖父魏光焘是魏源的族侄孙，曾任两江总督、南洋大臣、总理各国事务大臣等要职，是显赫一时的晚清重臣。此次采访，魏荣爵先生也讲了魏源“拒绝天王”的故事和许多关于魏源的传闻轶事，这些故事都是他小时候听祖父魏光焘讲的。此说应正了民间关于魏源拒绝天王的传说。魏荣爵先生还与我讨论了魏源“拒绝天王”这件事，为什么太平天国的史料没有记载。他认为，主要原因有三点：一是洪秀全劝说魏源归顺天国以失败告终，本身是件不光彩的事，对洪秀全是个耻辱，有损天王威颜。因此，史书不能记载；二是此事属宫廷绝秘，知情者极少，后来修史的官吏可能不知道这件事情，因此，史书没有记载；三是清军攻打天京时，湘军曾国荃的部卒将天王府内的金银财宝抢劫一空，最后一把火将天王府烧得一干二净，就算有史料记载也已化为灰烬。

　　笔者认为，魏源“拒绝天王”之事虽无史料记载，但也绝非空穴来风。据史料记载，咸丰五年，魏源确实去过南京，因为他的妻儿子女一直居住在南京“小卷阿”，当时他的妻子严氏患重病奄奄一息，魏源冒着危险赶回南京探望妻子，完全是情理之中。此时的南京已被太平天国占领并定为都城，客观地说，魏源此时回到南京，凭他的才学和知名度，洪秀全有可能召见他，并劝说他归顺太平天国。但这仅仅是洪秀全的一厢情愿。因为根据魏源的性格和当时的处境，魏源根本不可能公开投靠太平天国。咸丰三年，魏源担任高邮知州时，为抵御太平军攻城，他忠于职守，把自己的著作辽史稿及生平未刻稿交给同乡好友邹汉勋，敦促其回湖南：“吾有守土责，与君从此作生死别矣”，作好了献身朝廷的心理准备，这就证明了他忠于大清朝廷的坚定立场，根本不具备投身太平天国的政治思想基础。魏源被罢官到官复原职被重新起用的仕途起落，使魏源看清了清王朝的腐朽没落，但这并不等于说他就达到了与太平天国同声相求的思想境界。

　　那么，究竟魏源晚年是否投靠太平天国？这个问题一度成为史学界争论的一个热点。后人对魏源的评价从正面肯定、赞许者居多，而从反面贬责者也不乏其人，如刘师培、章太炎、叶德辉等，其中尤以叶德辉之言词激烈。如他在《郋园论学书札》中抨击魏源“晚节末格，人羞称之”，便可见一斑。

　　对于叶德辉等人贬责魏源的观点，以及刘禺生《世载堂杂忆》关于魏源为太平天国“乡三老”的传闻，李柏荣《日涛杂著》关于魏源“因侧身洪廷，遂遭平墓之灾”的记载，史学界持否定态度。许多专家、学者引证据典做了精辟的论述。如梁启超、郑鹤声、胡玉缙诸家都有独到的见解和评说。当代著名学者黄丽镛先生在《魏源年谱》一书中指出：“倘若如李柏荣所记，曾国藩因魏源‘侧身洪廷’，故挖其坟墓以惩儆后人，那么，深受曾国藩信用，被推荐担任浙江巡抚的左宗棠收复杭州后，有这么大的胆量去‘蠲金为修墓’吗？尽管左宗棠十分器重魏源的才学，但他断然不会去干这种对曾国藩‘不敬’，对朝廷‘不忠’的事情”。顾云在《钵山文录》中《邵阳魏先生传》一文提到：“军兴后，巡抚今湘阴相国重其以儒者负当世才，蠲金为修墓”。左宗棠祖籍湖南湘阴，故尊称湘阴相国。他为魏源修墓之事《清史稿》也有相关的佐证。由此可见，左宗棠化重金为魏源修葺坟墓的史实是真实可信的，也可以说是经过朝廷和曾国藩默许的。

　　大清朝廷对魏源的评价给予了肯定。《清史稿》编撰有魏源传。1858年，兵部侍郎王茂荫上书咸丰皇帝请求刊印《海国图志》，希望“亲王大臣家置一编，并令宗室八旗以是教，以是学”。1876年，清朝重臣左宗棠、郭嵩焘为《海国图志》再版作序。江苏高邮、兴化、湖南邵阳等地先后将魏源列为名宦贤人入祀。1866年附祀兴化范文正公祠堂；1868年入祀江南名宦祠；1887年入祀湖南乡贤祠；1907年入祀邵阳乡贤祠。如果说魏源晚年投靠了太平天国，王茂荫岂敢上书请求刊印《海国图志》？左宗棠、郭嵩焘怎能为《海国图志》再版作序？清朝政府绝不允许、也不可能将魏源列为名宦贤人入祀。

　　综合上述史料，笔者认为：所谓魏源“晚年变节”、“侧身洪廷”之说是根据不足的。

　　诚然，魏源对太平天国起义一直抱有同情、理智的态度，并有因“贻误文报”、“玩视军务”而遭革职的历史文献记载，但说他“侧身洪廷”且为太平天国之“乡三老”，缺乏佐证，不足为信，还有待于进一步研究与考证。