Původní poslání dnešní ZUŠ bylo zcela jiné. V letech 1907 – 1909 zde město zbudovalo městský sirotčinec, ale o 18 let později byl z finančních důvodů zrušen. Část budovy byla přenechána Okresní péči o mládež v Holešově pro zřízení Okresního dětského domova a poradny Ochrany matek a kojenců, zbývající část byla využita Městskou odbornou školou pro ženská povolání. V poválečných letech zde bylo umístěno okresní oddělení Sboru národní bezpečnosti a počátkem 60. let zde byla ze zámku přemístěna lidová umělecká škola, která byla později přejmenována na základní uměleckou školu