1851年，俾斯麦接受任命，成了普鲁士驻法兰克福邦联议会代表。身处邦联议会的他，正如他自己所说的那样，“对奥地利的政策充满了钦佩、认同甚至是崇拜”。在法兰克福的这段日子对俾斯麦而言就好比路德的罗马之行一样充满意义。他逐渐了解了奥地利的行事方式，特别是了解到奥地利对普鲁士根深蒂固的敌意。“以我在法兰克福工作了八年的经验来看，”1859年俾斯麦给施莱尼茨的信中写道，“目前普鲁士与邦联的关系限制了普鲁士的发展，在紧要关头更会带来危险……我觉得我们与邦联的关系是非常脆弱的，如果我们不趁现在条件有利而马上采取行动，我们迟早都要用铁血来修补这一关系。”
在法兰克福任职不久，他便得出了一个结论：普奥之争不可避免。为了这场斗争，他也做了许多准备：他拉拢小国，加强它们与普鲁士的经济联系；他要求普鲁士国王在欧洲采取更独立大胆的外交政策。在法兰克福，俾斯麦还定下了一条体现在他后期政策的铁律：“普鲁士与俄罗斯的关系绝对不能疏远。在整个欧洲大陆的盟友中，唯有俄罗斯最容易与普鲁士结盟，因为俄罗斯一番心思都在东方。”因此，在克里米亚战争中，普鲁士绝对不能与英国和法国结盟。“我们完全没有和俄罗斯打仗的理由，在东方问题里我们也没有要和俄罗斯打仗的利益纠纷……俄罗斯和我们结盟这么久，我们没有理由攻打俄罗斯，除非是惧怕法国或是为了讨好英国和奥地利。”俾斯麦倒是毫不惧怕法国。他曾短暂访问过巴黎，因此有机会摸清这位新国王的斤两。虽然如此，普鲁士可以通过法国削弱奥地利的势力。总而言之，普鲁士和德意志能用的一切力量（比如意大利）都不能浪费在推动甚至维护奥地利的利益上。