Nacido en Viena, a los 17 años entró a formar parte de la Filarmónica de Viena. Un año más tarde fundó el Cuarteto Weller que, en el transcurso de sus diez años de actividad, se hizo internacionalmente famoso y realizó destacadas grabaciones. En 1961 Walter Weller pasó a ser primer concertino de la Filarmónica de Viena y, en 1966, debutó como Director de Orquesta.

Ha sido Director Musical y Principal Director de la Royal Scottish National Orchestra de 1992 a 1997 y hoy diá, es Director Emérito. Fue Consejero Artístico y Principal Director Invitado de la Orquesta Nacional de España, de la Royal Philharmonic Orchestra de 1980 a 1985 sucediendo a Antal Dorati y Director Musical y Artístico de la Royal Philharmonic de Liverpool entre 1977 y 1980.

Desde el año 2004 es Director Asociado de la Orquesta de Valencia y desde septiembre de 2006 es Director Titular de la Orquesta Nacional de Bélgica.