Die neuzeitliche Geschichte der römisch-katholischen Gemeinde ist - nach französischen Missionsversuchen im 14. Jahrhundert, die zur Gründung von Missionsstationen führten - eng mit der Geschichte der Kaiserlich Russischen Armee in Baku und ihren polnischen und baltischen Soldaten verbunden. Ende der 1850er Jahre entstand eine kleine katholische Garnisonskirche, die der Gemeinde Tetri-Zkaro im heutigen Georgien zugeordnet, seit 1882 jedoch eigenständig war. 1895 wurde ein neues Gebetshaus der “Unbefleckten Empfängnis der Heiligen Jungfrau Maria" eröffnet,

1903 entstand auf dem Bakuer Friedhof ein Gebetshaus “Zum Heiligen Kreuz". Zu diesem Zeitpunkt wurde die Zahl der Katholiken bereits mit Zehntausend angegeben. Mit dem Zustrom von Fachkräften zu Beginn des 20. Jahrhunderts erstarkte die Gemeinde, so dass von 1909 bis 1912 eine prachtvolle Kathedrale im neogotischen Stil erbaut wurde. Nach deren Sprengung 1931 errichtete man an dieser Stelle ein Kulturhaus, in der ehemaligen Kirchenschule ist heute das Musikmuseum untergebracht. Mit der Erschießung des letzten katholischen Geistlichen Stefan Demurov 1937 endete vorerst die Geschichte der katholischen Gemeinde in Baku; bis 1997 gab es keinen Nachfolger.

Erst der slowakische Priester Ezhi Pilys sammelte die verbliebenen Katholiken. Er erwirkte die offizielle staatliche Registrierung am 2. April 1999 und am 11. Oktober 2000 wurde sie von Rom zur Mission sui juris und den Salesianern anvertraut, welche dort mit fünf Ordenspriestern, sieben Ordensbrüdern und fünf Ordensschwestern rund 500 Gläubige betreuen.

Bei seinem Besuch in Baku im Mai 2002 legte Papst Johannes Paul II. den Grundstein für das neue Gotteshaus “Zur Unbefleckten Empfängnis der Heiligen Jungfrau Maria", welches im Februar 2007 fertig gestellt und am 7. März 2008 feierlich von Kardinalstaatssekretärs Monsignore Bertone im Beisein des aserbaidschanischen Präsidenten geweiht wurde.

Der Sitz des zuständigen Nuntius ist Tbilisi, in Baku löste im November 2009 Vladimir Fekete das langjährige Oberhaupt der Gemeinde Jan Japla ab.