Cevdet Yılmaz, 1 Nisan 1967 tarihinde Bingöl'de dünyaya geldi. Yılmaz, eğitimi ODTÜ İktisadi ve İdari Bilimler Fakültesi Kamu Yönetimi Bölümünü tamamlayarak mezun oldu.
Cevdet Yılmaz, eğitiminin ardından kariyer hayatına 1989 yılında Devlet Planlama Teşkilatı'nda adım atmıştır. Daha sonra Yılmaz, Amerika'ya giderek orada Uluslararası İlişkiler Bölümünde yüksek lisans yaptı. Türkiyeye dönüşünden sonra Yılmaz, DPT'da Planlama Uzmanı olarak görev yaptı. Aynı zamanda Yılmaz, Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümünde doktora eğitimi aldı ve doktor unvanının sahibi oldu.
Cevdet Yılmaz, 2003 yılında DPT'nin AB İlişkiler Genel Müdürlüğü görevini üstlendi. Yılmaz, Ulusal Ajans, ATAUM ve Sümerhalı'da Yönetim Kurulu üyeliklerinde ve 23. dönemde Türkiye-AB Karma Parlamento Komisyonu Üyesi ve Parlamentolararası Birlik (PAB) Türk Grubu Başkanı oldu.
Cevdet Yılmaz, siyasi kariyerine 2007 yılına Ak Parti Bingöl milletvekili olarak adım atmıştır. Yılmaz, 1 Mayıs 2009 tarihinde 60. Türkiye Hükûmeti kabine değişikliği sonucu GAP-DAP Projesi ve Kalkınmadan Sorumlu Devlet Bakanlığı görevine getirildi.
2011 Genel seçimlerinde Yılmaz, tekrardan Ak Parti Bingöl milletvekili olarak meclise girdi ve 61. Hükumet değişikliği ile Kalkınma Bakanı olarak atandı. 2014 yılında Recep Tayyip Erdoğan'ın Cumhurbaşkanı seçilmesinin ardından kurulkan62. Hükumette görevini devam ettirdi.
2015 Genel seçimlerinde Yılmaz, Diyarbakır milletvekili olarak meclisteki yerini aldı. 2015 seçimde hiçbir partinin iktidar olmak için gereken sandalye sayısına ulaşamamasının ardından Davutoğlu tarafından Yılmaz, başkan yardımcılığı görevine getirildi. Daha sonra düzenlenen Kasım 2015 seçimlerinde Yılmaz, Bingöl milletvekili olarak meclise girdi. Son olarak Cevdet Yılmaz, 3 Haziran 2023 tarihinde, Cumhurbaşkanı Recep Tayyip Erdoğan tarafından cumhurbaşkanı yardımcısı olarak atandı.
