1848年5月18日，就在邦联议会的眼皮底下，代表们在法兰克福的圣保罗教堂召开了制宪大会（史称法兰克福议会），并立即进行了选举。一开始议会有300名代表，后来逐渐增加到550名。第一次讨论就凸显出三大派系的存在。虽然各方都同意有必要设立一个新的中央机构，但是来自普鲁士的拉多维茨和温克领导的保守派认为设立新机构应征得当前各邦政府的同意；另一方面，以来自莱比锡的罗伯特·布卢姆为代表的极端民主派想要建立一个联邦制共和国；最后是占据主流的立宪派，代表人物包括冯·加格恩、阿诺特、雅各布·格林、历史学家格维努斯以及来自波恩的达尔曼，他们的目标是建立一个君主立宪制国家。身为议会主席的海因里希·冯·加格恩的发言虽然相当委婉，但还是表现出对主流立宪派的支持倾向。如果说最后法兰克福议会在当时并没有马上产生很大影响，这也不是加格恩的错。
不幸的是，与会代表中包括了为数极多的学究型教条主义者和固执己见的媒体记者，但这似乎也难以避免。其结果是，大量时间和情绪被浪费在有关首要原则的讨论和权利声明的阐述上。对于各种事务，无论重要与否，都同样进行了冗长而严肃地讨论。在最初的六个月中，议会仅有的实际行动只是任命了一个中央执行机构。大会讨论了很多提案，其中值得一提的方案是建议成立一个督政府，包括三位执政者，分别由奥地利、普鲁士以及其他小邦国任命，通过对议会负责的各位大臣来统治整个国家。这份提案与主流意见背道而驰，大多数人坚决支持建立一个以普鲁士为首的君主立宪国家。不过，因为柏林不久前发生的一系列骚乱事件，代表们很难公推腓特烈·威廉四世出任国家元首。因此大会决定任命各方都能接受的年轻奥地利大公约翰为临时国家元首，临时掌管政府，并由他选出各位大臣。7月2日，约翰正式访问法兰克福，然后开始任命大臣。约翰取代了邦联的所有职能，邦联暂时被架空。
在此过程中，议会继续进行了多项讨论，但是进展仍然缓慢。直到1848年圣诞节期间，德意志人民的基本权利才基本上被确认下来。它的内容平平无奇，包括媒体自由、审判、民权和宗教平等、废除封建制等内容。
有关宪法的争议仍在持续。不管推行哪种方案，都不可避免地面临着极大困难。其中最严重的争议与奥地利有关。应该如何处理奥地利帝国下属的捷克、意大利、匈牙利以及其他地区与未来的德意志国家的关系？“大德意志”方案的倡议者坚决反对把这些非德语区排除在外。而有些人倡议“小德意志”方案——它始于关税同盟，试图确立普鲁士的领导地位——他们则坚持认为，不管从哪方面看，把奥地利或奥地利的任何下属地区包括进来都会对德意志的统一造成严重损害。在行政方面出现的争议也五花八门，难以协调。奥地利倾向于建立一个由七位君主组成的督政府，同时奥地利和普鲁士保持各自独立的选举系统。其他各方倾向于建立一个以奥地利、普鲁士、巴伐利亚为主体的三方行政系统，还有些人赞同成立一个由奥地利和普鲁士轮流执政的督政府。最后“小德意志”方案占了上风。奥地利被排除在外，德意志由此向世袭皇帝统治下的联邦制国家前进了一步。新国家将设立一个两院制中央议会。行政机构对议会负责，受议会委托来指挥军队、处理外交关系，以及战争与和平的相关事务。在如此重要的事务上遭遇挫败之后，奥地利转而与极端民主派联合，提出了一系列限制性修正案：皇帝只拥有延搁否决权，下议院选举将基于成年男子选举权进行。此时，温和派几近绝望，但却无能为力。最终，在1849年3月28日，普鲁士国王腓特烈·威廉四世被选为帝国皇帝。