Von 1945 bis 1947 nahm er Schauspielunterricht bei Lucie Höflich. Seine schauspielerische Laufbahn begann Hollenbeck 1947 am Mecklenburgischen Staatstheater in Schwerin. Er war dort bis 1951 Ensemblemitglied, dann spielte er unter anderem in Staßfurt und 1955 am Theater Erfurt. 1956 sprach er bei Helene Weigel und Bertolt Brecht vor und erhielt ein Engagement beim Berliner Ensemble. Dort spielte er in allen wichtigen Inszenierungen mit. Als Hollenbeck 1961 während eines Besuchs mit Frau und Sohn in Hamburg vom Bau der Berliner Mauer überrascht wurde, kehrte die Familie nicht in die DDR zurück und blieb in der Bundesrepublik. Hier stand er zunächst auf der Bühne der Hamburger Kammerspiele, es folgte 1966 ein Engagement am Ulmer Theater. Hollenbeck, der sich schon zu seinen DDR-Zeiten dem niederdeutschen Theater zugehörig fühlte, kam 1972 ans Ohnsorg-Theater in Hamburg, das seine künstlerische Heimat wurde. Neben den Sendungen aus dem Theater kennen Fernsehzuschauer Hollenbeck aus Serien wie Der Landarzt, wo er in 68 Folgen den Wirt Asmussen spielte. In der Serie Onkel Bräsig spielte er die Hauptrolle Zacharias Bräsig. 1969 spielte er in dem halbdokumentarischen Fernsehfilm Der Attentäter die Hauptrolle des Widerstandskämpfers Georg Elser. Diese gehört zu seinen größten und erfolgreichsten Rollen. 1970 erhielten Hans Gottschalk (Buch) und Rainer Erler (Regie) für den Film den Adolf-Grimme-Preis mit Gold. Er wurde zwei Mal im Tatort (Strandgut (1972) und Kurzschluss (1975)) besetzt, bei denen Wolfgang Petersen die Regie führte. Er war mit der Schauspielerin Rotraud Conrad verheiratet und lebte zuletzt in Hamburg-Eppendorf.