Nato non molto lontano dalla capitale Copenaghen, Agger entra a 12 anni nelle file del Brondby, società plurititolata di terra danese. Brucia le tappe nei settori giovanili in cui diventa sempre più decisivo e finalmente nel 2004 esordisce con la prima squadra. Alla prima stagione conquista il double trionfando in Coppa danese e vincendo il decimo ed ultimo scudetto fino ad oggi. Nella vicina Inghilterra intanto si sente dire in giro il suo nome e Tottenham e Liverpool si fanno avanti per lui ed Agger, classe 1984 opta per il nord Inghilterra, lasciando i londinesi a bocca asciutta. I Reds pagano Agger circa 6 milioni e ad Anfield Road sanno bene che questo è un vero affare perchè vedono in Agger un qualcosa di speciale, e infatti hanno ragione. I risultati della squadra durante gli anni, però, vanno via via calando e in terra anglosassone il difensore non vince quanto lui stesso si aspettava. Dopo la buona partenza, con la conquista nel 2006 di una Community Shield ai danni del Chelsea, nel Febbraio 2012 arriva il trionfo a Wembley, davanti a 90.000 spettatori, in Coppa di Lega inglese, ai rigori contro un sorprendente Cardiff. Nello stesso 2012 vince il premio come miglio calciatore danese dell’ anno dopo averlo vinto per la prima volta nel 2007.
Nel 2014 decide però di chiudere anzitempo col Liverpool anche grazie ad alcune incomprensioni con Rodgers e, a sorpresa, firma col Brondby, tornando così in patria.