公元前205年，刘邦从彭城败退西逃，在成皋筑起了一道防线，借地利才挡住了项羽的推进。楚汉两军在成皋相持。从公元前205年五六月到公元前202年八月，前后三年间，吕雉一直在项羽军中当囚徒，作人质。
公元前204年，刘邦和项羽在荥阳对峙。当时，吕公死在楚营中。项羽就把吕雉和刘太公装在囚车里，经常放在前线。项羽还在阵地上挖下大坑，埋上一口大锅，威胁刘邦，若不退兵就把吕雉、刘太公煮在一锅。古代下油锅的刑罚，叫烹刑。
刘邦不吃这一套，竟然嬉皮笑脸地对项羽说：“咱俩曾经结拜，我爹就是你爹，你把咱爹烹了，我还要分一杯羹。”
吾翁即若翁，必欲烹而翁，则幸分我一杯羹。
——《史记项羽本纪》
项羽气得暴跳如雷，真的要烹刘太公，但被项伯劝住了。这件事虽然史书记载的是杀刘太公，如果真的烹了刘太公，吕雉能躲得过去吗？绝对不可能躲过去！项羽一旦感到绝望——人质不能起到威慑刘邦的作用，他岂能白白为刘邦养着老婆？这场危机由于项伯相救，说了一番杀刘太公没有任何作用，只能使两家的仇结得更深之类的话，项羽才平息了怒气。刘太公得以躲过一劫，吕雉也因此得以躲过一劫。
刘邦此举，究竟是对结发妻子生命的漠视？还是真的料定项羽不敢杀死吕雉，如今已经很难考证。但当时的吕雉，必定是心寒如冰，透骨伤心。
吕雉一面为自己的大难不死而庆幸，一面也为丈夫的绝情绝义感到心寒。她与刘邦分居多年，但刘邦作为杰出的起义首领而扬名在外，做过的事情天下皆知。聪明如吕雉，已经看出刘邦的禀性：贪财好色，浪**薄情，缺乏家庭责任心。对这种人付出真正的爱情，与肉包子打狗无异。而待在楚营这段时间，她发现霸王项羽其实是个真正的男子汉，慷慨重义，还同情弱者。于是她有了投靠项羽的想法。
吕雉小心翼翼地试探项羽，结果大失所望：项羽对虞姬很专情，根本没把吕雉当回事。吕雉感到难堪又绝望，看到项羽和虞姬甜蜜恩爱的样子，再想想自己这个没正经的丈夫，心里真有难过。这么多年来，她不是一直忍耐着劳苦、屈辱与辛酸吗？但她并未有所抱怨。一方面她吃得起苦，也沉得住气；另一方面，她早就看透这荒唐的婚姻，狠下心来，吕雉决定，和刘邦不必谈感情，互利足矣！他贪心，不见得是坏事，等他吞下整个江山，吕家不也跟着发达了吗？而现在的俘虏生涯，何尝不是自己的政治资本？于是，吕雉有了新的目标，她的算盘又偏向刘邦一边。
吕雉过的这三年囚徒生活，真是叫人担惊受怕。幸亏刘邦在鸿门宴上结识了项羽的叔父项伯，两人拜为兄弟，又许下儿女婚姻，吕雉就是项伯的亲家母。所以吕雉在囚禁中常得到项伯的保护才幸免于难。厚道的项伯，不懂政治，在刘邦的欺诳下不知不觉做了汉军的内奸，项王的一半天下就败在项伯的手里。
吕雉经过这三年囚徒生活的痛苦磨练，更加刚毅和顽强、能屈能伸了。
公元前203年，即汉高祖四年，楚汉签订“以鸿沟为界，中分天下”的停战协议后，项羽才将刘邦的父亲和妻子吕雉送还给刘邦。刘邦也撤了兵。在老婆和父亲安全回来之后，刘邦立即撕毁和约，掉过头来追杀项羽。
历经磨难的吕雉回到汉营，发现丈夫有了很多年轻貌美的新欢，其中一位能歌善舞的戚夫人尤为得宠。戚夫人还为刘邦生了个儿子，名唤如意。虽然早料到丈夫行止风流，吕雉还是难免伤心吃醋。再后来，刘邦继续征战，身边带的也是戚夫人。吕雉已年届三十，只能算是风韵犹存，于是作为留守，与刘邦更加疏远。吕雉只有不断安慰自己：再忍一忍，等刘邦做了皇帝，她就是皇后，一人之下万人之上，这才是她的底线，也是她的追求。
在四年的楚汉之争中，吕雉一直被囚在楚军之中作人质，受尽折磨和凌辱，挣扎在生死边缘，心理受到了严重打击，也留下了多疑与缺乏安全感的后遗症。可能正是因为这些悲惨的遭遇，才造就了一个心地狭隘、阴狠毒辣的吕雉。
及至楚、汉罢兵言和，以鸿沟为界平分天下，项羽才将吕雉归还刘邦，对吕雉来说，真是恍如隔世。回头想想，自己被项羽掳为人质，整整两年四个月的时间里，刘邦非但不设法营救，反而又有了另外的女人，老婆在替自己坐牢受苦，他却在另一个女子的温柔乡里快活。果真是女人如衣服，想穿就穿，不穿就扔。
当丈夫的无情与现实摆在眼前，吕雉渐渐明白，要活下去，要活得更好，必须得自己掌握自己的命运。她再不要做那个单纯、贤惠的吕雉，她要做一个厉害、坚强、果敢、为自己打算的强势女人。在楚军的囚徒生涯中，虽然吕雉凭借坚毅的村姑性格挺了过去，但非人的受虐生活也改变了吕雉的世界观、价值观、人生观，吕雉贤惠的心灵从此扭曲。