1 Nisan 1967’de Bingöl’de doğan Yılmaz, Kemal ve Fatma çiftinin çocuğudur. Eğitim hayatında gösterdiği başarıyla dikkat çeken Yılmaz, lisans öğrenimini Orta Doğu Teknik Üniversitesi Kamu Yönetimi Bölümü’nde birincilikle tamamlamıştır. Akademik kariyerine yurt dışında devam ederek University of Denver’da uluslararası ilişkiler alanında yüksek lisans yapmış, ardından Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi bölümünde doktora derecesi almıştır.
Meslek hayatına Devlet Planlama Teşkilatı bünyesinde Planlama Uzman Yardımcısı olarak başlayan Yılmaz, daha sonra uzmanlık görevine yükselmiştir. Kurum içinde Avrupa Birliği ile ilişkiler alanında önemli sorumluluklar üstlenmiş ve AB ile İlişkiler Genel Müdürlüğü görevini yürütmüştür.
Kamu görevlerinin yanı sıra farklı kurum ve kuruluşlarda da aktif rol alan Yılmaz; AB Eğitim ve Gençlik Programları Merkezi İzleme ve Yönlendirme Komitesi üyeliği, Ulusal Ajans, ATAUM ve Sümerhalı’da yönetim kurulu üyelikleri yapmıştır. 23. Dönem’de Türkiye-AB Karma Parlamento Komisyonu’nda görev almış, ayrıca Parlamentolararası Birlik Türk Grubu Başkanlığı’nı üstlenmiştir.
İyi derecede İngilizce bilen Yılmaz, evli ve iki çocuk babasıdır.