1943 yılında Samsun'da dünyaya geldi. Ailesi Rize'nin Çamlıhemşin ilçesine bağlı Şenyuva köyündendir. İlk ve Orta öğrenimini Ankara Mimar Kemal İlkokulu ve Ortaokulunda, Lise öğrenimini ise Ankara Gazi Lisesinde yaptı. Ankara Üniversitesi Siyasal Bilgiler Fakültesi İktisat-Maliye Bölümünden 1968 yılında; Birleşik Krallık East Anglia Üniversitesi'nden 'Kalkınma Ekonomisi' dalında yüksek lisans derecesi alarak 1977 yılında mezun oldu.
Devlet Planlama Teşkilatı'nda (DPT) uzman yardımcısı ve uzman olarak çalıştı. 1978-1979 yıllarında Köy İşleri Bakanlığında Müsteşar Yardımcılığı görevini yürüttü. Batıkent Konut Üretim Yapı Kooperatifleri Birliğinin (Kent-Koop) kurucuları arasında yer alan Karayalçın, Kent-Koop'ta sırasıyla mali sekreterlik, genel sekreterlik ve 1981'den 1991 yılına kadar da Genel Başkanlık görevlerini üstlendi. Karayalçın, 1986-1987 yılları arasında Uluslararası İskan Konseyi Yönetim Kurulu üyeliği, 1988-1996 yılları arasında ise Uluslararası Kooperatifler Birliği (ICA) Konut Kooperatifleri Komitesinde Yürütme Kurulu üyeliği görevlerinde bulundu. Kurulduğu tarih olan 1988 yılından 1993 yılı Eylül ayına kadar olan Türkiye Kent Kooperatifleri Merkez Birliği'nin Genel Başkanlığı görevlerini sürdürdü.
Ankara şehir yerleşiminin rahatlamasını sağlamak amacıyla öncülüğünü yaptığı uydukent projesi 'Batıkent Projesi'nin Birleşmiş Milletler'in Dünya Konut Yılı nedeniyle açtığı proje yarışmasında birinciliği kazanması üzerine ödülünü 1986 yılı Kasım ayında Londra’da İngiliz Veliaht Prens Charles’dan alan Karayalçın, aynı yıl Nokta Dergisi tarafından yılın iş adamı seçildi. 1987 ve 1991 yıllarında Türkiye'nin dış tanıtımına yaptığı katkılar nedeniyle Türk Tanıtma Vakfı (TÜTAV) Ödülüne, 1993 yılında da Fransız Hükûmeti tarafından Légion d'honneur şövalye nişanına layık görüldü.
Belediye Başkanlığı ve Siyasi Yaşamı
26 Mart seçimleri'inde SHP'den başkan seçildi. Bu görevini SHP'nin 11 Eylül 1993'te yapılan 4. Olağan Kurultayında Genel Başkanlığa seçilmesine kadar sürdürdü. 50. Hükümette önce Devlet Bakanı Başbakan Yardımcısı ardından Dışişleri Bakanı ve Başbakan Yardımcısı olarak görev yaptı, SHP-CHP birleşmesi için Şubat 1995’de genel başkanlıktan, Mart 1995’te de Hükümetten ayrıldı. 20. Dönemde CHP Samsun Milletvekili ve TBMM Dış İlişkiler Komisyonu Başkanı olarak görev yaptı.
18 Nisan seçimleri'nde CHP'den Ankara Büyükşehir Belediye Başkanlığı'na adaylığını koydu fakat kazanamadı. 2001 yılında Erdal İnönü’nün ardından CHP’den istifa etti. 2002 yılında SHP kuruluşunda ve 28 Mart seçimleri'nde sol partilerin yerel seçimlerde yaptıkları geniş tabanlı ittifak içinde yer aldı. 29 Mart seçimleri'nde yeniden belediye başkanlığına aday oldu.
2000-2001 ve 2012-2014 yılları arasında CHP Parti Meclisi'nde yer aldı. 17 Aralık 2014 tarihinde CHP İstanbul İl Başkanlığına atandı.2016 Ocak ayında yapılan 35. CHP Olağan Kurultayında Divan Başkanlığı yapan Karayalçın; 2017-2020 yılları arasında CHP temsilcisi olarak Türkiye İş Bankası Yönetim Kurulu üyeliğinde bulundu. Bu görevi 2015 yılında son buldu.
Neşe Karayalçın ile evli olup, bir erkek çocuk babasıdır.
( Güncellendi 2022 )