1964 yılında Rize Çayeli Kaptanpaşa´da doğan Karaloğlu, ilkokulu Kaptanpaşa´da, ortaokul ve lise tahsilini Rize İmam Hatip Lisesi´nde tamamladı. 1985 yılında İstanbul Üniversitesi Hukuk Fakültesi’ne girdi. Buradan 1989 yılında mezun olan Karaloğlu, avukatlık stajının ardından 1990 yılında kaymakam adayı olarak mesleğe başladı. Karaloğlu, adaylık sırasında 8 ay İngiltere’de eğitim aldı.
1994 yılında Kırıkkale-Karakeçeli Kaymakamı olarak görev yapan Karaloğlu, aynı yıl vatani görevini yapmak üzere bu görevine ara verdi. Askerliğini tamamlamasının ardından yine Kırıkkale-Karakeçili Kaymakamı olarak görevine geri dönen Karaloğlu, daha sonra sırasıyla:
1996-1998 yılları arasında Şanlıurfa-Harran Kaymakamı,
1998-2000 yılları arasında Yozgat-Çekerek Kaymakamı,
2000-2002 yılları arasında yılları arasında Tokat-Reşadiye Kaymakamı,
2002-2003 yılları arasında Kırklareli Vali Yardımcılığı,
2003-2004 yılları arasında İçişleri Bakanlığı Hukuk Müşaviri (Başbakan Danışmanı),
10.06.2004–14.06.2009 tarihleri arasında Kocaeli Büyükşehir Belediyesi Genel Sekreteri olarak görev yaptı.
Yerel Yönetimler Kamu İşverenleri Sendikası’nın (YERELSEN) kurulmasına öncülük eden Karaloğlu, Mayıs 2009 ayına kadar Sendika Genel Başkanlık görevini sürdürdü.
12.06.2009-02.08.2013 tarihleri arasında Van Valisi,
04.08.2013-10.06.2016 tarihleri arasında Bursa Valisi,
10.06.2016-19.06.2020 tarihleri arasında Antalya Valisi olarak görev yaptı.
19.06.2020-12.05.2022 tarihleri arasında Diyarbakır Valisi olarak görev yaptı.
Kırgızistan Cumhuriyeti’nin köklü üniversitelerinden Mahmud Kaşgari Barskani Doğu Üniversitesi tarafından "Fahri Doktora" unvanına layık görüldü.
21.06.2023 tarihli Cumhurbaşkanlığı Kararnamesi ile İçişleri Bakanlığı Bakan Yardımcısı olarak atandı.
Evli ve iki çocuk babasıdır.
