Pseudonim: „Andrzej Bobola”. Urodził się 15 września 1907 r. w rodzinie leśnika w wiosce Łaś koło Pułtuska. Po ukończeniu gimnazjum w Pułtusku, w 1926 r. wstąpił do seminarium duchownego w Warszawie. Święcenia kapłańskie otrzymał w 1932 roku.
Po wybuchu wojny zaangażował się w działalność konspiracyjną (tajne nauczanie, pisma podziemne), przyjmując pseudonim „Andrzej Bobola”. Działał w ZWZ, a następnie AK. W swoim mieszkaniu w Warszawie zorganizował punkt kontaktowy dla kurierów podziemia, podróżujących na trasie Warszawa – Londyn. W czasie powstania warszawskiego był m.in. kapelanem batalionów „Gustaw” i „Antoni”. Współorganizował jeden z największych szpitali powstańczych na Starym Mieście przy ul. Długiej. Zasłynął bohaterskim czynem, wynosząc z płonącej katedry św. Jana cudowną figurę Pana Jezusa Ukrzyżowanego, którą następnie ukrył w kościele dominikańskim św. Jacka. Za postawę na polu walki został odznaczony Krzyżem Walecznych.
Po wojnie, poszukiwany przez Służbę Bezpieczeństwa, przez kilka lat posługiwał w parafii pod Sochaczewem. W 1949 r. otrzymał trudne zadanie budowy kościoła na warszawskim Gocławiu, w nowej parafii św. Wacława (przez następnych 30 lat był jej proboszczem). Z racji powierzonej mu misji stał się obiektem najść i szykan ze strony pracowników SB, którzy bezskutecznie namawiali go do podjęcia współpracy.
Od lat siedemdziesiątych prowadził niezależną działalność społeczną i edukacyjną. Odprawiał msze św. w Olszynce Grochowskiej dla upamiętnienia rocznic powstań narodowych (m.in. powstania listopadowego i bitwy pod Olszynką w 1831 r.). W 1974 r. był współzałożycielem Kręgu Pamięci Narodowej, który doprowadził do ustawienia na warszawskiej Cytadeli krzyża upamiętniającego przywódcę powstania styczniowego Romualda Traugutta i jego towarzyszy broni. W 1979 r. współtworzył konspiracyjny Komitet Katyński. Z inicjatywy komitetu 31 lipca 1981 r. na cmentarzu wojskowym na warszawskich Powązkach ustawiono krzyż katyński – kilkutonowy granitowy monument, usunięty przez Służbę Bezpieczeństwa jeszcze tej samej nocy. Ks. Karłowicz wspierał działalność Archiwum Czynu Niepodległościowego, powołanego przy Archiwum Akt Nowych. W 1995 r. z jego inicjatywy powstało Stowarzyszenie Olszynka Grochowska, zabiegające o godne zagospodarowanie terenu, na którym rozegrała się bitwa.
Za swoje zasługi został odznaczony Krzyżem Oficerskim Orderu Odrodzenia Polski, a w 2006 r. otrzymał godność Honorowego Obywatela Miasta Stołecznego Warszawy; posiadał honorowy tytuł szambelana papieskiego. Zmarł 8 grudnia 2007 r. w Warszawie.