Er ist der Sohn einer Ärztin und eines Rechtsanwaltes aus Kiel und hat mehrere Geschwister. Neben seinen Tätigkeiten am Theater (z.B. als festes Mitglied der Münchener Kammerspiele von 1981 - 1998) war Milberg in vielen Filmen und Fernsehproduktionen zu sehen. U.a. verkörpert er seit 2003 den Hauptkommisar Klaus Borowski im Tatort aus Kiel. Desweiteren ist er als Hörbuch und Hörspielsprecher unterwegs.