失去莉葆的安徒生，很是消沉。他无法摆脱对莉葆的思念。而更为糟糕的是，安徒生的作品在短暂的赞美声后，随之而来的却是铺天盖地的批评。
“安徒生的作品充满着语法错误……！”
“他弄脏了纯洁的语言风格！”
“他通俗而口语化的语言破坏了丹麦优雅的文学传统！”
“他的作品流露出不健康的思想倾向，使人压抑，不值一读！”
“讽刺太多，不是真正的文学。他不会有什么前途可言。”
“一个缺乏深厚文化教养的人，也配做诗人吗？”
甚至有一位诗人、剧作家兼批评家的牧师，把他的作品说得一无是处，通篇只有一个连接词“and”没有受到指责，这大大伤害了安徒生的感情。可是，从上小学时就变得胆怯的安徒生，在经受了十多年被压抑的曲折经历后，学会了忍受一切。而有些人将安徒生的这种忍耐视作软弱可欺，谁都想来教训他几句。如果这时安徒生要站出来为自己辩解，就会得到更多的攻击，说他听不得批评意见，被赞美之辞宠坏了。如果安徒生顺着批评者的要求，表示要努力成为一个人们公认的合格的诗人时，人们又认为这是安徒生的虚荣心在作祟。这样剩下来的，安徒生只有自卑与自我否定。然而，安徒生最不能容忍的是有人别有用心的冷嘲热讽。他遭遇了与在学校生活中同样黯淡的日子。安徒生是这样描述他在1831年前后的心情的：
我一天天地陷入了病态的氛围里，感觉被某种生活中的悲伤缠住，总是徘徊在生活的阴影之中；我急躁不安，老是记住对我的批评，而不是对我的称赞……我在学校读书时遭受到的压迫现在还在起作用，我觉得，昔日的压力逐渐又在恢复它的力量，我不得不沉默地低下自己的头，用最大的耐心承受着人们所说的一切……人人都可以教训我，几乎人人都说我被赞扬宠坏了，所以他们要对我讲实情了。就这样，我不断听到的都是我的错误，我的实在的和可能的弱点。在个别场合，我的感情也会爆发出来。有时在一些精神上极为贫困的人在他们豪华的屋子里对我作一番空洞但绝对是沉重打击的评论的时候，我就会忘记冷静而猛烈地流着泪爆发出来：我要成为一个受人称道、得到荣誉的诗人！我这样的话被人们抓住了，把它传开了去，像一粒坏种子，立刻就花朵绽放，成了一株虚荣、愚蠢的植物。这样家家户户便都知道了。到处都在说：“他是最虚荣的人！”……那个时候，我在孤寂中几乎由于我本人对自己的能力没有信心而彻底跨掉。我记住了每一个评判我的字眼，就和在学校里最昏暗的日子里一样，我有一种感觉，我的全部才能最终会令我失望。我自己几乎这样认定了，但是，别人狠狠地、挑衅地这样对我讲，我却不能次次忍受。这样，要是我答以某种高傲的、未假思索的言辞的话，那么这样的话，就会成为人们用来鞭挞我的鞭子，要是那些我认为我最爱的人在鞭挞我，那么这鞭子就变成了蝎子。……匿名的攻击，通过邮局寄来粗暴的信件，陌生人在信中用最野蛮和幼稚的语言侮辱、嘲笑我。这些都成了我那时生活的一部分……
安徒生这里所说的“我最爱的人”中，也有受他尊敬、曾给他很大帮助的海伯格教授。事情发生在1831年初。因为文学主张的不同，奥伦什拉杰尔和海伯格之间发生了激烈的争论，安徒生比较同情奥伦什拉杰尔的观点，认为灵感和感情在作家创作中占有主导地位，而不是像海伯格所主张的，形式上的精雕细琢是诗的主要使命。于是，在这场有关文学内容与形式的论争中，安徒生得罪了海伯格派。本来，作家在文学主张上有不同的见解，是非常正常的事情，应该通过学术争鸣的方式，在艺术的范围内得到解决，但安徒生却受到了不公平的待遇。报上发表了一首匿名诗，这样讽刺安徒生：
骑着一匹又瘦又跛的毛驴
安徒生奋力驰骋。
变酸的幻想的酒啊，
他的诗篇就在其中发酵、诞生……
诗中还用一种粗野而傲慢的口气，对安徒生极尽挖苦奚落之能事，说他是一个昨天才长出胡须、对语法一窍不通的中学生，却时刻觊觎着诗人的荣誉。正告安徒生，不要不自量力，还是一边呆着为好，以免贻笑大方。像安徒生这样一个浅学的人，也想攀登诗人这样一座高峰，乘的不是背长双翼的飞马，而是一匹孱弱的毛驴！
这一切使容易激动和伤感的安徒生伤透了心。事情很快有了眉目。原来这首匿名诗是海伯格的信徒赫兹写的，当时的他被誉为丹麦文坛的“一颗新星”。为着挽回这首诗的负面影响，海伯格认为有必要在他主编的《快报》上为受到赫兹伤害的豪克和英格曼等诗人说几句公道话，而对受到伤害最严重的安徒生，海伯格却视而不见，没有为他辩护，这让安徒生很伤心。
海伯格的态度更助长了人们对安徒生的嘲笑，一时间，批评、嘲笑“怪人安待生”成为评论界的一种时髦。安徒生经常从报刊甚至是朋友那儿听到这样的训导：
“不，安徒生，不要见怪，亲爱的，不过应该开诚布公地告诉您，别再谈论那些复杂的文学上的问题了。您没有这个资格。还是听听那些有学问的人说些什么，然后闭上您的嘴算了。别想学奥伦什拉杰尔的样子，您怎么能和奥伦什拉杰尔相提并论？您也太不自量力了。您必须同您身上表现出来的那种危险的自命不凡作斗争。”
当时也有一位大学生，叫德雷耶，公开为安徒生鸣不平。他写了一篇为安徒生辩护的长诗《给谢兰斯法尔伯爵的一封信》，却没有发表的机会。
爱情与事业，双双受挫，安徒生已经到了绝望的边缘，犹如尖刀的刺伤，仿佛要被整个巨浪冲走。爱情弃他远去，朋友也抛弃了他，安徒生不得不开始怀疑自己，否定自己，痛恨自己，萌生了永远离开文学殿堂的念头，以保护他那脆弱的心灵不再受到伤害。他对柯林表达了这样的忧虑：
“我还可以搞文学吗？我是不是应该去研究神学，做一个牧师呢？”
柯林对安徒生的动摇有些担心，他原以为经过很多磨练的安徒生不会这样脆弱，但又十分同情他现在的处境，仍然希望他能“坚持走自己的路”，实现他自己的文学理想。于是，柯林建议安徒生暂时离开这个不利的环境，到国外散散心，或许能换换脑筋和接受些新思想，对今后的创作有帮助。安徒生觉得这是个很好的建议，就决定到德国北部去作短期旅行。