深思熟虑之后，俾斯麦决定选择与奥地利结盟。1879年，他与奥匈帝国缔结了防御同盟，然后以此为基础构建外交体系。在匈牙利政治家安德拉希的指引下，奥地利已经做好了缔结条约的准备，但俾斯麦遇到了他一生中最艰难的一次斗争——他要迫使君主接受这份同盟条约。普鲁士国王与俄罗斯皇室过从甚密，俄罗斯在1866年普奥战争以及1870年的普法战争中都保持了中立，所以普鲁士国王无论如何都不愿与俄国决裂。最后，威廉一世总算勉强同意了，这充分证明了俾斯麦的断言：“我的老主公即使不相信一件事，但也总能被说服。”
与奥地利缔结同盟条约是俾斯麦最令人印象深刻的举措之一，它不仅保护奥地利免受俄国的攻击，还能在俄法联合进攻的情况下保护德国。