王映霞究竟與許紹棣有沒有過關係？她為什麽不願與丈夫鬱達夫同房？先看《毀家詩紀》的第四首：
寒風陣陣雨瀟瀟，千裏行人去路遙。
不是有家歸未得，鳴鳩已占鳳凰巢。
這一首說得十分明白了，一個人冒著風雨遠離家鄉，為什麽要離家？是因為沒有家嗎？他原來是有家的，隻是這個家已經鳩占鵲巢。
這首詩寫得如大白話，但卻不是鬱達夫本人寫的，理由來自詩的自注，我還是按照白話文的意思大概翻譯下：這是我在福州天王殿裏求得的一張簽詩。我們到廟裏上香拜佛求簽，求簽往往是一首詩，我也去過廟裏，但是我沒有求過簽，也不上香，也不跪拜，我更多是欣賞裏麵的建築，去看看那些佛像，感受一下伽藍的味道。但曾經有人為我也去求過簽，當然這種小兒女的心態，我也能夠理解。
按照常理，去廟裏求簽的人，都是心裏有事，糾結的鬱達夫概不能外，沒想到求到的是一首鳩占鵲巢的簽，可想而知他的心情。因為那時候他剛好接到國民政府政治部第三廳廳長郭沫若的邀請，準備前往武漢擔任外宣處處長，他必須得先從福州返回浙江，再接上家人前往武漢。也就是在福州動身的前夜，他在天王殿裏求得了這張簽。詩句奇怪，難以理解，但是又有一種不好的預感。
鬱達夫來不及多想，就動身了，時間是1938年1月。連日大雨，好容易輾轉到了麗水，準備接家人一起走，不料晚間王映霞竟拒絕與鬱達夫同房。鬱達夫想了半天才明白，這是因為許紹棣這幾天沒有去臨時省政府辦公，仍然在麗水的省政府宿舍留宿的緣故，因為如前文所說，他們兩家當時是樓上樓下。當然，這隻是鬱達夫單方麵的猜測。
次日，許紹棣去金華開會，鬱達夫也去了方岩，會見了許多友人，入晚回來，王映霞仍拒絕與之同宿，說是例假來了，“分宿為佳”，鬱達夫沒辦法，隻好耐著性子等。第三天，許紹棣從金華回來了，王映霞像變了一個人似的，搭車前往迎接，許紹棣又要從麗水轉到另外一個地方去公幹，王映霞二話沒說就跟走了，當晚在碧湖過了一夜。次日午後，二人同返麗水。
被戴了這麽一頂綠帽子的鬱達夫，當然不甘心，他表示這才想到了“人言之嘖嘖”，怪自己太糊塗，於是找到王映霞，請她自己決定，要麽隨自己去武漢，要麽跟許紹棣在一起。接下來的兩天，據鬱達夫的觀察，王映霞與許紹棣就這事交涉了很久，許紹棣推脫再三，不肯正式迎娶王映霞，春夢一場沒奈何，王映霞隻好揮淚作別，和鬱達夫一同去了武漢。
說起來，夫妻之間的事情非常微妙和隱秘，作為外人很難去掌握真實情況。如果其中一方把這些事公開出來，固然作為八卦可以惹人注目，但其實這就是一麵之詞，你不能偏聽，一定要保持冷靜。
上文講到的是鬱達夫在詩歌中的講述，接下來可以再看看另一位當事人王映霞有什麽要說的。據她在自傳裏回憶：自從搬到杭州後，往來的朋友較多，許紹棣也是其中之一，但僅此而已。至於流傳的什麽麗水同居之事，純屬造謠。同時還列舉出朋友胡建中的辯詞：“以紹棣為人之方正清廉，許王兩家兒女親屬同居者之多，以及他們每次相見，都有別的朋友在場，在十目所視之下，我確信他們的關係，僅止於愛慕和別後的通信。”
這條辯詞其實透露了兩層意思：王映霞和許紹棣的確有那種曖昧的情感，至少一方可能是愛著一方的，不然也不會在分別後通書信；但絕對是君子發乎於情，止乎於禮。不過後來王映霞自己又談道：“近來有人將兩封不是我寫的信，栽在我的頭上。”即後來一直流傳到20世紀80年代的所謂兩封王映霞寫給許紹棣的情書。問題是，誰在捏造這兩封情書呢？這是個謎，雖然經過證明勘證，這兩封信確實是假的。
這大概就是王映霞晚年特別在意的一件事，畢竟鬱達夫在中國近代文學史上的地位很高，他既然公開刊載自己的詩歌來講自己的婚變，那麽作為弱者的妻子，要站出來寫自傳為自己辯護，也可以理解。而且王映霞在自傳裏已經承認了“愛慕”這兩個字。這裏需要說明一點的是，所謂“愛慕”在老式語言裏，是惺惺相惜，有好感的意思，與今天所說的愛情中的“愛”有一定的區別。
在這裏，可以換位思考一下：王映霞與許紹棣長時間住樓上樓下，一位彬彬有禮，一位操持家務，男才女貌，但礙於家庭社會身份，兩人的相處處在一個比較含蓄又特別靠近的階段，就這一點來說，也不算奇怪。所以，能證實二人關係的東西，就落在了“通信”上，因為愛慕隻是旁人的觀察，通信寫了什麽，才是重要的。
就這一點，王映霞在自傳中訴說到，她與許紹棣通信的主題，主要是她為近代史上另外一位著名的藝術家孫多慈做紅娘，介紹許紹棣與她認識。孫多慈曾是徐悲鴻的學生，也鬧過一場師生戀，無疾而終。孫多慈萬般無奈，委托好友替自己介紹新男友，結果最後輾轉到了王映霞這裏，王就準備向孫多慈介紹許紹棣。
說起來，王映霞最開始認識鬱達夫的時候，鬱達夫也有婚姻。當時王映霞住在鬱達夫朋友家裏，鬱達夫見到她後，就展開了猛烈的追求。她的朋友本與其家人相識，不太支持這樣的事情，便想了一招，為王映霞介紹新的男朋友章克標。根據章克標後來的回憶，鬱達夫聽到這個消息後，就直接找上他說，“你別跟王映霞談戀愛，你跟他談戀愛，讓我很難辦！”這就等於受了威脅。章克標當時在文壇初出茅廬，聲名遠不及鬱達夫，隻好宣布放棄。