維也納愛樂的民主結構與卡拉揚的專橫無法相容。他與大眾化的薩爾茨堡音樂藝術節決裂，始於他執意把票價提高到“百萬富翁俱樂部”水平。
富特文格勒去世後，從1956年開始，卡拉揚被任命為音樂節藝術總監。由於與維也納關係日益緊張，他開始更多利用薩爾茨堡為自己服務。他任命效忠於自己的人出任總監，以主席委員會成員身份遙控之。他禁止在音樂節演出現代作品；他著迷於技術和音響；比拜羅伊特更加平民化的薩爾茨堡音樂節，正變成超級富翁俱樂部；卡拉揚提出放棄對普通旅遊者的照顧，取締普通人可以支付的單一門票，薩爾茨堡音樂節的中層，開始對此進行抵製。
卡拉揚已經不需要他們了——他建立了自己的薩爾茨堡複活節音樂會。1973年又創辦聖靈降臨節音樂節，他以一名董事長的精明和外交家的才能，親自控製麵向精英的門票——而他已經生活在別處。卡拉揚早在1955年就接掌了柏林愛樂，但他沒有時間與柏林愛樂合作。他在奧地利到處掛職，參加歐洲各地音樂節，帶領維也納愛樂全球巡演。此時合同上明確規定，一年中卡拉揚要有7個月在維也納指揮，另外2個月在薩爾茨堡。卡拉揚喜歡四海為家，偏偏在柏林不置辦固定住所，每次隻在酒店過夜。秘書馬通尼說，當時的柏林是卡拉揚的“休養地”。
隨著同維也納、薩爾茨堡決裂，卡拉揚才關注起曾經夢寐以求的樂隊，給柏林愛樂投入更多時間排練。一係列優秀錄音，如西貝柳斯後4首交響曲（1964年至1967年），理查·施特勞斯《堂吉訶德》（1965年，大提琴富尼埃），穆索爾斯基《圖畫展覽會》（1966年），海頓《創世記》和貝多芬《萊奧諾拉》係列序曲，就是出自這一時期。
與奧地利的氛圍不同，卡拉揚在柏林乃至德國音樂界的絕對權力，隻有另外一個奧地利人能與之相提並論，那就是希特勒。“卡拉揚粉”可能痛恨將二人相提並論，但卡拉揚本人一生都同情希特勒的遭遇。在給予希特勒深沉的同情上，卡拉揚不偽善。這位倔強的馬其頓後裔，比那些忙著為他道德搓澡的人更值得敬重。