AK Parti'nin önemli isimlerinden biri olan Cevdet Yılmaz, 1 Nisan 1967'de Bingöl'de dünyaya geldi.
Lise öğrenimini Bingöl'de bitiren Yılmaz 1983 tarihinde girdiği ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümü'nü birincilikle bitirdi.
Yılmaz 1989 yılında Devlet Planlama Teşkilatı'nda göreve başladı.
2007 ve 2011 seçimlerinde Bingöl’den AK Parti milletvekili olarak TBMM'ye giren Yılmaz önemli görevlerde bulundu.
1 Mayıs 2009'da GAP-DAP Projesi ve Kalkınma'dan Sorumlu Devlet Bakanlığı görevine getirildi.
2011 genel seçimlerinde tekrar AK Parti Bingöl milletvekili olarak meclise giren Yılmaz, 61. Hükümet'te Kalkınma Bakanı olarak yer aldı.
Erdoğan 2014 yılında Cumhurbaşkanı seçildikten sonra 2014'te kurulan 62. Hükümet'te Kalkınma Bakanlığı görevine devam eden Yılmaz, 2015'te bu kez Diyarbakır milletvekili olarak Meclis'e girdi.
Ahmet Davutoğlu başkanlığında kurulan Seçim hükümeti'nde 28 Ağustos tarihinde Başbakan yardımcısı olarak görevlendirildi.
Bu görevini 24 Kasım 2015 tarihinde kadar sürdüren Yılmaz, Kasım 2015 seçimlerinde yeniden Bingöl milletvekili olarak meclise girdi.