Hamburger SV
Mahmut Yılmaz, futbola SC V/W Billstedt takımında başladı. 18 yaşında Hamburg'nun altyapısına transfer oldu. İlk sezonunu üçüncü seviye bölgesel lig Regionalliga'da mücadele eden Hamburger SV II takımında geçirdi. Kariyerinin ilk golünü SV Wilhelmshaven'a kaydetti. Sonraki sezon bu takımda sadece 1 kez forma giymişti.
1998-99 sezonunda Frank Pagelsdorf tarafından A takıma yükseltildi. 16 Mart 1999'da kariyerinin ilk Bundesliga maçına çıktı. VfL Bochum karşısında 78. dakikada Bernd Hollerbach'ın yerine oyuna dahil olmuştu. O sezon forma giydiği tek maç, bu oldu.
1999-2000 sezonunda A takıma daha çok dahil olan Yılmaz, zaman zaman ilk 18'e girse de sadece ligin son haftalarında iki maçta forma giyebildi. Bu maçlarda biri olan Eintracht Frankfurt karşılaşmasında ilk kez ilk 11'de sahaya çıkmıştı. Hamburger SV o sezon ligde iyi bir performans göstererek üçüncü oldu. Sonraki sezon ise en aktif sezonunu yaşadı. İlk 18'in değişmez isimlerinden olan Yılmaz, 10 maçta forma şansı bulurken, ikinci takımda da başarılı bir performans gösteriyordu. AS Roma ile oynanan UEFA Kupası üçüncü tur maçlarında da ikinci yarı sahaya sürülüp, ilk kez Avrupa maçına çıktı ancak rakiplerine elendiler.
2001-02, Yılmaz için şanssız bir sezon oldu. A takımda forma şansı bulmamasına rağmen ilk 18'e girerken, teknik adamlığa Kurt Jara'nın gelmesi ile bu şansı da yitirdi. İkinci takımda 15 maçta 14 gol atsa da birinci takıma seçilemedi. Devre arasında sakatlık yaşayan futbolcunun futbola geri dönmesi Mart 2003'ü buldu.