Mafia 2 przenosi gracza do fikcyjnego miasta. Akcja gry ma miejsce na przełomie czterdziestych i pięćdziesiątych lat XX wieku. Głównym bohaterem jest młody mężczyzna, który ze zwykłego faceta powoli przemienia się w prawdziwego mafijnego bossa. Fabuła podobnie jak w części poprzedniej opowiadana jest przy pomocy bardzo dobrze opracowanych cut-scenek, które swoich charakterem nawiązują do filmowych produkcji rodem z Hollywood.

Miasto w Mafia 2 jest w pełni żywe i oczywiście oferuje pełną swobodę. Gracz nie jest zmuszony do podążania drogą fabuły, może więc robić to na co ma ochotę. Do tego celu autorzy opracowali mnóstwo świetnie odwzorowanych samochodów oraz dziesiątki kilometrów ulic.