在阿斯坎尼亚家族覆灭后，勃兰登堡经历了一个世纪的衰落，过去的进步有多快，这时的衰落就有多快。另一个伟大的德意志家族——维特尔斯巴赫家族，在巴伐利亚皇帝路易四世统治时期，得到了勃兰登堡侯爵区，但他们的统治没能维系多久。1373年3月，在德意志帝国的皇冠转移到卢森堡家族之后，巴伐利亚人在勃兰登堡的统治就结束了，勃兰登堡边区与波西米亚王室长久地联系在一起。从此以后，这片地区便由卢森堡家族或他们的副手统治，直到1411年勃兰登堡的第二个伟大的篇章开始。纽伦堡伯爵、霍亨索伦家族的腓特烈出现了，他是真正的阿斯坎尼亚家族继承者。从1319年到1411年间的历史中，我们可以看到统治者管理不善、丧失领土、内部无政府状态等的记载，但有一件重要的事情十分引人注目。在1351年，也就是查理四世颁布《金玺诏书》的五年前，这位皇帝将勃兰登堡这个边区升级到选侯国，同时把选侯国数量增加到七个，其中四个是世俗领地，三个是教会领地。从此以后，勃兰登堡的统治者既是选帝侯也是侯爵，其领地被称为勃兰登堡选侯国。值得注意的是，勃兰登堡这个边区选侯国（也称“库尔马克”）名义上包括易北河和奥得河之间的所有土地，以及西部的阿尔特马克，但不包括奥得河以东的纽马克——很可能是因为纽马克在1402年被抵押给了条顿骑士团。