1859年，俾斯麦调任驻彼得堡大使，在那里度过了三年并发挥重大作用后，他又成了驻巴黎大使。但这份工作他只做了几个月。1862年9月他被召回柏林——唯有他才能处理国内的宪政危机。从那天起，他先后担任普鲁士首相、北德意志邦联首相以及后来的德意志帝国首相，一直掌握着普鲁士和德意志的核心权力。如果把普鲁士比作一艘大船，那么俾斯麦就好比领航员，他一路指引普鲁士穿越各种狂风暴雨，直到1890年才被新上任的年轻国王“抛弃”。正如人们所说的那样，在那些年里，他一直“在半专制国王和半宪政社会下担任宰相，一方面要考虑皇室，另一方面还要面对复杂的政治环境”。然而，他的信念从来没有动摇。在就任之前他就已经做好了准备。他在法兰克福、彼得堡以及巴黎（虽然很短暂）的外交经历使得他能亲身体会到德意志现行政治系统的无能，以及欧洲外交关系的错综复杂。
他的第一个任务便是要让自己的君主有面对这场斗争的勇气。当他在波茨坦首次会见国王的时候，国王已经签好了退位法令，但这份法令很快便被撕掉。可是在和王后在巴登巴登待了一两周之后，这位国王又开始变得消沉。国王说：“我知道我们会是什么下场。就在剧院门口，他们会先砍了你的脑袋，然后再砍掉我的。”俾斯麦接着说：“然后呢？我们就这样死掉了。我们能不能死得更有尊严一点——我能否像斯特拉福德伯爵那样，而陛下能否不要像路易十六，而是像查理一世那样死去？”俾斯麦赢了这场辩论，而这位国王也决定与议会斗争。
无论是对于普鲁士，对于这位国王还是对于俾斯麦，这都是决定性的时刻。但与国王相比，俾斯麦永远不会犹豫不决。他在官僚系统和军队均开展了清理工作——所有表现出自由主义倾向的人都会被扫地出门。他还继续推行毛奇和罗恩设计的军队改革，甚至不经表决便动用资金。“当代的重大问题不是靠演讲和议会投票就能解决的，而是要靠铁与血。”而无论是铁，还是血，俾斯麦都丝毫不缺。