Das Palais wird Anfang des 18. Jahrhunderts von dem Baumeister Johann Jacob Rischer (1662-1755) für den zumeist in Wien lebenden kaiserlichen und kurpfälzischen jüdischen Hoffaktor Emanuel Oppenheimer (1657-1721) errichtet. Es ist im Jahr 1720 das prächtigste Wohngebäude der Stadt. Deshalb wählt es Kurfürst Karl Philipp während der Bauzeit des Schlosses zu seinem ersten Mannheimer Wohnsitz.
Zur Verbesserung des Hebammenwesens in der Kurpfalz lässt Kurfürst Karl Theodor (1724-1799) 1766 ein Entbindungshaus im heutigen Quadrat N 6 einrichten. Ledigen Schwangeren droht eine Gefängnisstrafe, nur im so genannten Accouchement können sie straffrei entbinden, wenn sie bereit sind, ihren Körper für die praktische Ausbildung der weiblichen und männlichen Geburtshelfer zur Verfügung zu stellen.