Jak o większości postaci z wieków średnich nie mamy wiele pewnych informacji. Wiadomo jednak, że był niemieckim kapłanem, który potem jako inkwizytor działał na terenie Niemiec. To właśnie jego papież Grzegorz IX mianował pierwszym inkwizytorem w 1231 r. Znamy również dokładną datę jego zamordowania przez rycerzy 30 lipca 1233 r. Niestety niezbyt chlubnie zapisała się również jego działalność inkwizytorska, uważano go za bardzo surowego i niesprawiedliwego sędziego. Nie ma również pewności co do jego przynależności do zakonu dominikańskiego, jak również do premonstratensów (norbertanów) czy franciszkanów, chociaż zarówno w tradycji tych zakonów, jak i we współczesnej historiografii można znaleźć informację, że do któregoś z tych zakonów należał; najczęściej wzmiankowana jest przynależność do zakonu Kaznodziejskiego. Jednak większość badaczy zajmujących się dziejami inkwizycji zarówno w Europie, jak i w samych Niemczech, podkreśla, że mógł być po prostu kapłanem diecezjalnym, a na pewno z heretykami walczył jeszcze przed dominikanami.
Konrad urodził się pomiędzy 1180 a 1190 r. w rodzinie szlacheckiej. O jego dzieciństwie nic nie wiadomo. Podaje się jednak, że był dobrze wykształcony i posiadał ogromną wiedzę. Współcześni nazywali go magisterem, co świadczyć może o tym, iż ukończył studia na którymś z ówczesnych uniwersytetów europejskich, być może w Paryżu lub Bolonii. Znany był także z ogromnej ascezy i wielkiej gorliwości w obronie Kościoła. Jego praca duszpasterska związana była przede wszystkim z tłumieniem herezji, poszukiwaniem i nawracaniem heretyków. W latach 1217–1221wziął udział w V krucjacie przeciwko albigensom w południowej Francji, zorganizowanej przez papieża Honoriusza III. Zwolennikiem Konrada był następny papież Innocenty III. Kiedy powrócił do swojego ojczystego kraju, Niemiec, wpierw został kierownikiem duchowym Elżbiety Węgierskiej (1207–1231), żony Ludwika, landgrafa Turyngii. Rzekomo to on miał ją namówić do bardzo surowego stylu życia, na skutek czego zmarła 17 listopada 1231 r. Potem był świadkiem w jej procesie kanonizacyjnym. Tego też roku został mianowany przez papieża Grzegorza IX inkwizytorem papieskim w Niemczech. Papież też polecił mu wziąć pod opiekę dwóch pomocników – Konrada Torsa (Dors), świeckiego dominikanina, i księdza diecezjalnego Jana. Ci dwaj pomocnicy zasłynęli szczególnym okrucieństwem, wysyłając na stos ogromną rzeszę osób, nie zawsze heretyków. Również sam Konrad z Marburga nie słynął z łagodności i uczciwości; zarzucano mu łatwowierność, brak rozsądku i niesprawiedliwość. Według większości ówczesnych relacji niemal wszystkie oskarżenia uważał za prawdziwe, a podejrzanych – za winnych herezji. To właśnie jego współpracownicy wyszukiwali podejrzanych i grożąc spaleniem na stosie zmuszali ich do żałowania za odstępstwo od wiary, ponadto zmuszali ich do denuncjowania innych, dzięki czemu mogli zachować swoje własne życie. Konradowi z Marburga zarzucano, że omijał także wszelkie procedury, jakie przewidywało prawo kościelne. Na przykład w Trybunale Inkwizycyjnym pomimo sprzeciwu nie zasiadał miejscowy biskup. Na ich ignorowanie miał otrzymać zgodę od samego papieża. Coraz częściej skargi na jego działalność docierały do papieża, który nimi się niepokoił. Kwestia niestosowania przepisów prawnych przez Konrada nie jest jednak tak oczywista i do tej pory toczy się dyskusja wśród badaczy, na ile je łamał, a na ile jedynie przesuwał nieco granice, zwłaszcza że w Niemczech nowe przepisy inkwizycyjne wchodziły trochę później. Nie ulega jednak wątpliwości, że taka opinia na trwałe weszła do historiografii.
Ofiarami jego pracy inkwizycyjnej stawali się zarówno przedstawiciele pospólstwa, jak i szlachty czy duchowieństwa. Jego oskarżeniom padł również hrabia Henryk II. Ten ostatni odwołał się do arcybiskupa Moguncji Zygfryda III, który specjalnie w tej sprawie zwołał synod. Zebrał się on 25 lipca 1233 r. i uniewinnił hrabiego. Konrad jednak odmówił przyjęcia decyzji synodu i zażądał wydania werdyktu. Ostatecznie jednak zrezygnował i opuścił Moguncję, aby wrócić do Marburga. 30 lipca, będąc w drodze, został zaatakowany przez kilku rycerzy i zamordowany. Jego śmierć nie pozwoliła papieżowi na wyjaśnienie stawianych Konradowi zarzutów. Dodatkowo papież uznał go za męczennika za wiarę chrześcijańską, a jego zabójców ekskomunikował, a potem kazał jeszcze ich ukarać.
Po jego śmierci jego dwaj współpracownicy Konrad Tors i Jan nadal ścigali heretyków. Jednak niedługo później również oni zostali zamordowani. Jeszcze w 1233 r. Konrad zginął w Strasburgu, a Jan został powieszony w Friedbergu.
Według legendy głoszonej przez dominikanów po jego śmierci, miał być członkiem ich zakonu, zwerbowanym doń przez samego św. Dominika, który wysłał go do Niemiec z misją zwalczania herezji.
W znajdującym się w wirydarzu limskiego klasztoru Santo Domingo przedstawieniu widnieje napis, mówiący, iż jest on pierwszym męczennikiem inkwizytorem, ponadto jest podkreślone, że nosi tytuł błogosławionego. Sztylet na gardle sugeruje, że zginął przez poderżnięcie gardła. W dotychczasowej historycznej literaturze naukowej brak jest dokładnego opisu jego śmierci.