Die erste Erwähnung eines Rathauses in Paderborn findet sich in einer Urkunde des Jahre 1279, Einzelheiten über dieses Gebäude sind jedoch nicht bekannt. 1611 beschloss der Rat auf Anweisung des Fürstbischofs Dietrich von Fürstenberg, das damalige heruntergekommene Rathaus durch einen Neubau zu ersetzen. Hermann Baumhauer, ein Baumeister aus Wewelsburg, errichtete den Neubau im Stil der sog. Weserrenaissance in den Jahren 1613 bis 1620 unter Einbeziehung eines älteren Vorgängerbaus von 1473. Im Rahmen einer umfangreichen Erneuerung 1725/26 entstand wohl auch der große Saal im Obergeschoss, in dem Theateraufführungen, Bälle und sonstige festliche Veranstaltungen stattfanden. Noch bis in die zweite Hälfte des 19. Jahrhunderts war der Raumbedarf der eigentlichen Stadtverwaltung sehr gering, so dass das Rathaus auch noch anderweitig genutzt werden konnte, etwa durch das Hauptzollamt, die Stadtwaage oder die Polizei. Zeitweise hatte die Stadt hier auch Feuerspritzen und sonstiges Löschgerät eingelagert und den Dachboden als Haferlager an die Militärverwaltung vermietet. 

Wegen fortschreitender Verschlechterung des baulichen Zustandes begann unter der Leitung des Paderborner Architekten Rudolf Volmer 1870 eine grundlegende Sanierung des Rathauses, die zugleich mit einem vollständigen Umbau des Inneren verbunden war. So entstanden u.a. die Eingangshalle und das große repräsentative Treppenhaus. Nach Auseinandersetzungen zwischen Volmer und der Stadt - die Kosten liefen aus dem Ruder -  wurde die Bauleitung 1874 dem Zimmermeister Schafmeister übertragen. Seine Verärgerung über den Auftraggeber hatte Volmer durch diverse, an versteckter Stelle angebrachte mehr oder weniger boshafte Inschriften, sog. Kamelinschriften, zum Ausdruck gebracht; sie sind z.T. erhalten. 1878 war der Umbau vollendet. Nach weitgehender Verlagerung der personell gewachsenen Stadtverwaltung in das ehemalige Gaukirchkloster in der Grube 1894 richtete im Erdgeschoss des Rathauses der Altertumsverein ein Museum ein. Auch die 1903 gegründetet Stadtsparkasse und der 1911 gegründete Verkehrsverein waren zeitweise dort untergebracht.

1945 wurde das Rathaus bis auf die Außenmauern zerstört und brannte aus. Die historische Innenausstatung von 1870/78, besonders erwähnenswert eine astronomische Uhr, wurde vernichtet. Die Ruine war einsturzgefährdet, der große Giebel musste durch Drahtseilabspannungen gesichert werden. Der schon 1946 begonnene Wiederaufbau zog sich bis 1954 hin, der Innenausbau wurde durch eine Lotterie finanziert.

Die künstlerische Ausgestaltung geht vor allem auf den Paderborner Bildhauer Josefthomas Brinkschröder zurück. Er entwarf die Eingangstüren, das Treppengeländer, die Treppenhausfenster sowie die Haupteingangstür des großen Saales und die zugehörige Supraporte. Die Entwürfe für die Türlaibungen des großen Saales lieferte der Bildhauer Müller-Oerlinghausen. Der Ausbau des Rathauskellers zum gastronomischen Betrieb erfolgte erst in den 1960er Jahren. 1975 erhielt das Rathaus eine Farbfassung nach historischen Befunden.
Nach dem Wiederaufbau nutzte das Standesamt mehrere Jahrzehnte lang die Räumlichkeiten im Erdgeschoss. Mit Ausnahme des Trauzimmers, in dem in der Regel dienstags und freitags standesamtliche Eheschließungen stattfinden, befindet sich dort heute das FamilienServiceCenter.
In den 1950/60er Jahren war dort zeitweise auch das Stadtarchiv untergebracht. Das Obergeschoss mit dem großen und dem kleinen Saal und den Erkerräumen dient vor allem als Tagungsstätte des Rates und seiner Ausschüsse. Darüber hinaus wird der große Saal für Repräsentationsveranstaltungen der Stadt wie z.B. Empfänge oder Festakte genutzt. Im Dachgeschoss hatte bis zur Verlagerung in den Schloß Neuhäuser Marstall 1994 das Naturkundemuseum seinen Standort.