In het secundaire onderwijs volgde Jo Vally de opleiding mechanica, maar hij volgde ook notenleer en piano. Met enkele vrienden uit de muziekschool richtte hij de band "The Dreamband" op, waarin hij keyboard speelde. Zijn eerste solosingle nam hij op onder de naam "Valli Low", maar later leerde hij manager Rik Vervecken kennen die van hem een ster zou maken. Er werd besloten zijn artiestennaam te veranderen in Jo Vally en er werden enkele singles uitgebracht die echter niet succesvol waren.

Tien jaar lang lukte het hem niet om zijn zangcarrière uit te bouwen, totdat het nummer "Neem m'n hart" bij VTM terecht kwam en als supertip in het programma "Tien om te Zien" werd voorgesteld.

Nadien volgden de hits elkaar in sneltempo op en ook de cd's die uitgebracht werden kenden een groot succes.

Door het succes van de schlagermuziek had Jo Vally een hit met "Si si si (kerida)".