Baby, Hartz4, Schimmel, Umzug

Hallo
Ich habe da mal ein paar Fragen und vielleicht kennt sich ja jemand von euch aus!
Wir wohnen zur Zeit in einer Zimmer Wohnung ((ähnlich wie Einfamilienhaus/eigener eingang keine direckten nachbarn) mit 75qm mit 2 Personen mit einem Baby von 5 Monaten und zahlen 350€ KM. Wir haben vor 2 Jahren mit dem Vermieter die vereinbarung getroffen, alles in eigenleistung zumachen ohne Absprache. Also Fenster reparieren, Wasserleitung etc, also alles wofür ein Vermieter aufkommen müßte. Nun haben wir an der einen kompletten Hauswand von innen überall Schimmel und das nicht zu knapp, betroffen ist das bad und die Küche. In dieses ist es so schlimm, dass die Tapeten sich schon lösen und ungefähr 50cm hoch ist!
Nun haben wir beim Amt angefragt wie es mit einem Umzug ist, wir hätten eine Wohnung in aussicht auch mit 75qm und einer KM von 400€ komplett Renoviert, also müßte nicht gemacht werden. Der Kinderarzt sagte auch dass das berreits gesundheitsgefährdenden ist. Das Amt wiederrum will sich nichts davon annehmen weil es "ja eigentlich sache des vermieters ist". Nur selbst wenn der vermieter einen rechtswiedrigen vertrag aufgesetzt hätte würde er hier niemals was machen. Er ist hoch verschuldet und wir zahlen sozusagen die raten der bank mit der Miete.
Weiß jemand was wir nun machen können? Ich möchte nicht weiterin hier bleiben, ebenwegen meiner Tochter, sicherlich ist es schlimm, dass wir über 5000€ für das Bad und Kinderzimmer investiert haben aber Geld macht mein kind nicht (direckt)gesund!