Yusuf Ziya Yılmaz, 28 Ağustos 1951 tarihinde Samsun’da dünyaya geldi. İlk, orta ve lise eğitimini memleketinde tamamladıktan sonra İstanbul Devlet Mimarlık ve Mühendislik Akademisi’nden mezun oldu. 1975 yılında Karayolları 7. Bölge Müdürlüğü’nde Şantiye Makina Mühendisi olarak göreve başladı. 1978-1980 yılları arasında askerlik görevini Diyarbakır’da tamamladıktan sonra aynı müdürlükte Makina İşletme Mühendisi olarak çalışmalarına devam etti.

1983 yılında Ankara Karayolları 4. Bölge Müdürlüğü’ne Makina İkmal Baş Mühendisi olarak atanan Yılmaz, 1987 yılında Karayolları Genel Müdürlüğü İkmal Şube Müdürlüğü görevini üstlendi. 1990 yılında Van Karayolları 11. Bölge Müdürlüğü’ne, 1992’de ise Samsun Karayolları 7. Bölge Müdürlüğü’ne atandı ve altı yıl boyunca bu görevde bulundu. 1998’de İstanbul Karayolları 17. Bölge Müdürlüğü’ne geçti.

Samsun’a hizmet etme isteğiyle 23 yıllık görevinden ayrılan Yılmaz, 18 Nisan 1999 yerel seçimlerinde Anavatan Partisi’nden (ANAP) Samsun Büyükşehir Belediye Başkanı seçildi. 28 Mart 2004 seçimlerinde AK Parti’den ikinci kez, 29 Mart 2009 seçimlerinde üçüncü kez ve 30 Mart 2014 seçimlerinde de dördüncü kez Samsun Büyükşehir Belediye Başkanı olarak görev yaptı.

Yusuf Ziya Yılmaz, eski tarih öğretmeni Semiha Yılmaz ile evli olup çiftin çocuğu bulunmamaktadır.