Ortaöğretimine Avusturya Lisesinde başladı ve İstanbul Erkek Lisesinde bitirdi. 1971 yılında Ankara Üniversitesi Siyasal Bilgiler Fakültesi Maliye ve İktisat Bölümünden mezun oldu. 1972-1974 yılları arasında Almanya'da Köln Üniversitesi İktisadi ve Sosyal Bilimler Fakültesinde yüksek lisans çalışması yapan Mesut Yılmaz, 1975-1983 yılları arasında kimya, tekstil ve ulaştırma sektörlerinde, çeşitli özel şirketlerde yönetici olarak görev aldı.
1983 yılının Mayıs ayında kurulan Anavatan Partisi'nde kurucu üye ve genel başkan yardımcısı olduktan sonra aynı yıl Kasım ayında yapılan genel seçimde Rize milletvekili seçildi. Birinci Turgut Özal hükûmetinde Bilgilendirmeden Sorumlu Devlet Bakanlığı'na atandı ve hükûmet sözcülüğü yaptı. 1986 yılında Kültür ve Turizm Bakanı oldu. Bu dönemde Türkiye-Batı Almanya ve Türkiye-Yugoslavya ekonomi karma komisyonlarının başkanlıklarını yürüttü. 1986 yılında ANAP içerisinde yaşanan Turgut Özal ile Bedrettin Dalan arasındaki ayrışmada Dalan tarafında olsa da Özal'ı karşısına almamıştır.
29 Kasım 1987 seçimlerinde yeniden Rize milletvekili seçildi ve ardından ikinci Özal hükûmetinde Dışişleri Bakanlığı'na atandı. 1988 yılından sonra Avrupa Demokrasi Birliği genel başkan yardımcılığı yapan Yılmaz, Akbulut Hükûmeti'nde de üstlendiği bu görevden 20 Şubat 1990'da istifa etti.
5 Haziran 1991 tarihinde yapılan Anavatan Partisi Büyük Kongresi'nde genel başkanlığa seçildi. Kurduğu hükûmet 5 Temmuz 1991 günü TBMM Genel Kurulu'nda güvenoyu aldı. 20 Ekim 1991 günü yapılan genel seçimlerden sonra ana muhalefet partisi lideri olarak çalışmalarını sürdürdü.
24 Aralık 1995'te yapılan genel seçimler sonrası Anavatan Partisi ile Doğru Yol Partisi tarafından oluşturulan 53. Hükûmet'in başbakanı olarak görev yaptı.
28 Şubat sürecinde mecliste muhalefet milletvekilleri azınlıkta olmasına rağmen, Cumhurbaşkanı Süleyman Demirel tarafından hükûmeti kurmakla görevlendirildi ve Demirel'in eski partisi DYP'den kendine yakın milletvekillerini istifa ettirerek onları Demokrat Türkiye Partisi adı altında toplayıp ANAP-DSP-DTP koalisyonuna (ANASOL-D hükûmeti, 55. Hükûmet) sokmasıyla 20 Haziran 1997'de üçüncü kez başbakan oldu. 25 Kasım 1998'de, Cumhuriyet Halk Partisi'nin (CHP) kendisi ve devlet bakanı Güneş Taner için verdiği gensoru önergelerinin TBMM'de kabul edilmesinden sonra istifa etti.
18 Nisan 1999 tarihinde yapılan genel seçimlerde partisinin büyük oy kaybına rağmen DSP-MHP-ANAP koalisyonunda yer alarak Devlet Bakanı ve Başbakan Yardımcısı oldu.
3 Kasım 2002 seçimlerinde partisinin %5 oy oranı ile barajın altında kalmasından ardından görevinden istifa etti. Rize'den milletvekili seçilecek oy oranına ulaşmasına rağmen lideri olduğu ANAP %10'luk barajın altında kaldığından milletvekili seçilememiştir
25 Mayıs 2007'de Rize'den bağımsız milletvekilliği adaylığını açıklayan Yılmaz, 22 Temmuz 2007 tarihinde yapılan genel seçimlerde Rize'den bağımsız milletvekili olarak meclise girmeye hak kazandı. 2009 yılında Anavatan Partisi ile Doğru Yol Partisi'nin birleşmeleri sonucu kurulan Demokrat Parti'ye 31 Ekim 2009'da geçti. 15 Ocak 2011 tarihinde Namık Kemal Zeybek'in genel başkan seçilmesinin ardından Demokrat Parti'den 18 Ocak'ta istifa etti.
13 Temmuz 2004 tarihinde TBMM tarafından, Güneş Taner ile birlikte "Türkbank ihalesi sürecinde malın satımında ve değerinde fesat oluşturacak ilişki ve görüşmelere girdikleri ve bu eylemlerinin Türk Ceza Kanunu'nun 205. maddesine uyduğu" iddiasıyla hakkında Yüce Divan'a sevk kararı alındı. Yüce Divan sıfatıyla görev yapan Anayasa Mahkemesi, her iki kişinin suçlama kararlarının ayrı ayrı ele alınması gereği nedeniyle kararı iade etti. Karar 27 Ekim 2004'te tekrarlandı ve onaylandı. Böylece Yılmaz, Cumhuriyet tarihinde Yüce Divan'da yargılanan ilk başbakan olmuş oldu.
30 Ekim 2020'de tedavi gördüğü Şişli'deki Florence Nightingale Hastanesi'nde 73 yaşında vefat etti. Ocak 2019'da yaptırdığı rutin sağlık kontrolünde akciğerinde tümöre rastlanmıştı. Ölümünden önce akciğerindeki kanserli bölge ameliyatla alınmıştı. Mayıs 2020'de bu kez beyin sapında tümör saptanmış ve ameliyat edilmişti. Yılmaz'ın cenazesi, 1 Kasım günü devlet töreni'yle öğle namazına müteakip Marmara İlahiyat Cami'sinden uğurlanarak Kanlıca Mezarlığı'na, 3 yıl önce Kanlıca, Beykoz'daki evinde kendisine ait Smith & Wesson marka tabancasıyla intihar eden 38 yaşındaki oğlu Mehmet Yavuz Yılmaz'ın yanına defnedildi.
