Im Kastel gab es bis 1914 eine kleine selbstständige jüdische Gemeinde, deren Anfänge vermutlich im 15. Jahrhundert liegen; 1432 ist erstmals eine jüdische Familie genannt, zwei Jahrzehnte später waren es drei bzw. sogar fünf, die u.a. vom Geld- und Pfandgeschäft lebten. Die Familien standen unter dem Schutz des Mainzer Erzbischofs. Nach zwischenzeitlicher Vertreibung aus dem Erzstift (um 1470) zogen im 17. Jahrhundert erneut einige jüdische Familien zu, die gemeinsam mit denen aus Kostheim eine Gemeinde bildeten.
Seit 1834 verfügte die damals über ca. 60 Personen zählende Gemeinde über ein eigenes Synagogengebäude in der Frühlingsstraße. Bis ca. 1900 wurde das Gebäude zu regelmässigen Gottesdiensten genutzt. Neben der Synagoge gehörten zu den gemeindlichen Einrichtungen eine Religionsschule und ein rituelles Bad. Seit 1814 hatte die Gemeinde einen eigenen Lehrer und Kantor (Vorsänger) angestellt. Verstorbene wurden auf dem Friedhof in Mainz beerdigt.
Nach der Jahrhundertwende konnten kaum noch regelmäßige Gottesdienste abgehalten, da die notwendige Zehnzahl jüdischer Männer nicht mehr zusammengebracht werden konnte. 1914 wurde die Kultusgemeinde schließlich aufgelöst, die noch in Kastel lebenden jüdischen Einwohner der Kultusgemeinde Mainz zugewiesen und die wertvolle Ritualien teilweise in ein damals in Mainz im Aufbau befindliches „Museum für jüdische Altertümer“ gebracht.
Die wenigen am Ort lebenden jüdischen Familien waren von 1941 bis zu ihrer Deportation 1942 in drei sog. „Judenhäuser“ in der Eleonorenstraße einquartiert. Seit 2009 weisen sogenannte „Stolpersteine“ auf die Wohnsitze ehemaliger jüdischer Bewohner hin; an sechs Standorten sind insgesamt zwölf Steine verlegt.