1947 yılında Uşak’ta doğan Yılmaz, Lisans eğitimini İngiltere’de The City University London’da tamamladı. 1980 yılında Türkiye Cumhuriyet Merkez Bankası Dış Borç Erteleme Servisinde göreve başladı. 1995 yılında Müdür, 1996’da Genel Müdür Yardımcısı oldu. 2002 yılında İşçi Dövizleri Genel Müdürü olan Yılmaz, 01 Mayıs 2003 tarihinden itibaren Banka Meclisi Üyesi olarak görev yapmaktadır. Merkez Bankası Başkanlığı'na, Banka Meclisi üyesi Durmuş Yılmaz'ın getirilmesiyle birlikte, başkanlıkta 15 Mart'tan bu yana, bir ayı aşkın süredir devam eden vekalet dönemi de sona ermiş olacak. Merkez Bankası Başkanı Süreyya Serdengeçti'nin görevi 14 Mart'ta sona ermişti. Aynı gün toplanan Banka Meclisi, Serdengeçti'nin yerine,Türkiye Cumhuriyet Merkez Bankası Başkan Vekilliğine 15 Mart itibarıyla, Başkan Yardımcısı Erdem Başçı'yı getirmişti. Bu arada, başkan yardımcılarından Sedef Ayalp 8 Mart tarihi itibarıyla emekli olurken, Fatih Özatay 4 Nisan, Şükrü Binay ise 4 Haziran itibarıyla emekliliklerini istemişlerdi. Devlet Bakanı Ali Babacan, Merkez Bankası başkanlığına yapılacak atamaya ilişkin ilk kararnameyi 15 Mart'ta Köşk'e götürürken, Erdem Başçı'nın Merkez Bankası Başkanlığı'na önerildiğine ilişkin haberler çıkmıştı. Bunun üzerine Cumhurbaşkanlığı, Erdem Başçı'nın Merkez Bankası Başkanlığı'na atanmasını öngören bir Bakanlar Kurulu karar taslağı bulunmadığını açıklamıştı. Daha sonra, Köşk'e sunulan ismin Al Baraka Türk Genel Müdürü Adnan Büyükdeniz olduğu, Sezer'in atamaya ilişkin kararname taslağını 23 Mart tarihinde geri göndermesiyle anlaşıldı. Bu tarihten sonra Merkez Bankası Başkanlığı için basında değişik isimler konuşulmaya başlandı. İsmi geçenler arasında, Merkez Bankası Başkan Vekili Erdem Başçı, Hazine Müsteşarı İbrahim Çanakcı, TMSF Başkanı Ahmet Ertürk, İstanbul Büyükşehir Belediyesi Genel Sekreteri Mesut Pektaş, Ziraat Bankası Yönetim Kurulu Başkanı Prof. Dr. İlhan Uludağ ile BDDK üyesi Prof. Dr. Yusuf Tuna bulunuyordu. Son olarak 7 Nisan'da Devlet Bakanı Ali Babacan, Merkez Bankası Başkanlığı için yeni kararname taslağını, 7 Nisan'da onay için Köşk'e çıkarak Cumhurbaşkanı Sezer'e elden sunmuştu. Babacan, atamaya ilişkin onay çıkana kadar ismin açıklanmayacağını söylemişti.