Bəstəkar 1918-ci il fevralın 5-də Bakı şəhərində məşhur həkim, təbabət professor Əbülfəz Qarayev və Sona xanım Axundova-Qarayevanın ailəsində anadan olub.

Qara Qarayev fortepiano ifaçılığı təhsili alıb. 1925-ci ildə konservatoriya yanında musiqi məktəbində oxuduğu zaman pianoçu və pedaqoq Vladimir Mixayloviç Kozlov ilə tanış olub. Qara Qarayev V.M.Kozlovun Azərbaycandan çox-çox uzaqlarda tanınmasını yüksək qiymətləndirib. Qarayevin yaradıcılığında V.M.Kozlovun adı ilə bağlı əsərlərdən onun dünyadan köçdüyü 1960-cı ildə yazılmış və xatirəsinə həsr olunmuş skripka ilə fortepiano üçün sonatanı göstərmək olar.

1926-cı ildə Qara Qarayev Azərbaycan Dövlət Konservatoriyası yanında musiqi məktəbinə qəbul edilib. 1930-cu ildə Azərbaycan Dövlət Konservatoriyasının nəzdində fəaliyyət göstərən Bakı musiqi fəhlə fakültəsinin fortepiano sinfinə daxil olub. 1935-ci ildə Azərbaycan Dövlət Konservatoriyasının bəstəkarlıq fakültəsində professor Leopold Rudolfun sinfində oxuyub. Üzeyir Hacıbəyov Qara Qarayevin müəllimi olub.

1937-ci ildə Azərbaycan Bəstəkarlar İttifaqına üzv qəbul edilib. 1938-ci ildə Moskva Dövlət Konservatoriyasının tələbəsi olub. 1941-ci il Təhsil müddətində professor Üzeyir Hacıbəyovdan Azərbaycan xalq musiqisinin əsasları üzrə dərs alıb. Hacıbəyov ilk andan Qara Qarayevin gələcək istedadını aşkarlaya bilib.

Üzeyir Hacıbəyovun yaradıcılığında və Azərbaycanda ilk skripka, violonçel və fortepiano triosunda həyata keçirilən aşıq üslubu Qara Qarayevi 1965-ci ildə həmin əsərin “Aşıqsayağı” simfonik transkripsiyasını yaratmağa ilhamlandırıb.

1938-ci ildə ilk böyük əsərini xor, simfonik orkestr və rəqs ansamblı üçün Rəsul Rzanın sözlərinə “Könül mahnısı” kantatasını bəstələyib.

1941-ci ildə M.Maqomayev adına Azərbaycan Dövlət Filarmoniyasının bəddi rəhbəri vəzifəsində çalışıb. 1943-cü ildə ilk simfoniyanı yazıb. 1944-cü ildə Azərbaycan Bəstəkarlar İttifaqının idarə heyəti sədrinin müavini olub.

1946-cı ildə Azərbaycan Dövlət Konservatoriyasının bəstəkarlıq sinfində müəllim işləyib. 1946-cı ildə SSRİ Bəstəkarlar İttifaqı İdarə Heyətinin katibi seçilib. 1948-ci ildə Azərbaycan Dövlət Konservatoriyasının dosenti olub. 1949-cu ildə Üzeyir Hacıbəyov adına İncəsənət İnstitutunun musiqi bölməsinin rəhbəri təyin olunub. Qara Qarayev 1950-ci ildən 1953-cü ilə qədər Üzeyir Hacıbəyov adına Azərbaycan Dövlət Konservatoriyasının rektoru vəzifəsində çalışıb. 1952-ci ildə Sülh uğrunda Müdafiə Komitəsinin üzvü seçilib, 1953-cü ildə Azərbaycan Bəstəkarlar İttifaqı İdarə Heyətinin sədri təyin olunub. Həmin ildə Ümumittifaq Sülh həmrəyliyi tərəfdarlarının IV konferensiyasının nümayəndəsi seçilib və Leninqrad Dövlət Kiçik (“Malıy”) opera teatrında “Yeddi gözəl” baletinin ilk tamaşası qoyulub. O, 1954-cü ildən 1982-ci ilə qədər SSRİ Lenin və Dövlət mükafatları komitəsinin üzvü, 1955-ci ildən 1976-cı ilə qədər IV-IX çağırış SSRİ Ali Sovetlərinin deputatı olub.

1956-cı ildən 1973-cü ilə qədər Azərbaycan Bəstəkarlar İttifaqının birinci katibi olaraq fəaliyyət göstərib, 1956-cı ildə Azərbaycan Bəstəkarlarının I qurultayına nümayəndə, 1957-ci ildə SSRİ kinematoqraf işçilər ittifaqının üzvü seçilib. Həmin ildə “Don Kixot” filminə musiqi bəstələyib. 1958-ci ildə V çağırış SSRİ Ali Sovetlərinin deputatı olub. 1959-cu ildə Azərbaycan SSR Elmlər Akademiyasının həqiqi üzvü seçilib. Həmin ildə Ü.Hacıbəyov adına Azərbaycan Dövlət Konservatoriyasının bəstəkarlıq kafedrasının professoru olub. Moskvada Azərbaycan incəsənət dekadasının iştirakçısı olub. Çexoslovakiyada “Yeddi gözəl” baletinin premyerasında iştirak edib.

1962-ci ildə SSRİ Ali Sovetinə deputat seçilib. 1963-cü ildə “Yeddi gözəl” baleti Birləşmiş Ərəb Əmirliklərində və CAR-da səhnəyə qoyulub. 1965-ci ildə Kamera orkestri üçün məşhur 3-cü Simfoniyanı bitirib. Aprelin 21-də Moskvada, iyunun 2-də Bakıda Üçüncü simfoniyanın ilk ifası baş tutub.

1971-ci ildə Moskvada açılan Beynəlxalq Musiqi Konqresinin yekun konsertində III Simfoniya böyük uğur qazanıb. 1976-cı ildə III Simfoniya Praqa şəhərində uğurla səsləndirilib. 1978-ci ildə ümumdünya müəllif hüquqları agentliyi konqresinin iştirakçısı kimi Parisdə səfərdə olub, Moskva operetta teatrında “Çılğın qaskoniyalı” müziklinin ilk tamaşası qoyulub.

Qara Qarayevin yaradıcılığında vətən mövzusu bir sıra əsərlərin özəyini təşkil edib. İkinci simfoniya, Cövdət Hacıyevlə yazdığı “Vətən” operası, “Ürək mahnısı” kantatası, “Bizim partiya” , “Səadət mahnısı”, “Azərbaycan” süitası belə əsərlərdəndir.

Qara Qarayev Tatyana Neçayeva ilə ailə həyatı qurmuş və bu cütlükdən Fərəc adlı oğlu və Züleyxa adlı qızı dünyaya gəlib. O, öz həyat yoldaşını çox sevib, başa düşüb və etibar edib. Həyat yoldaşına həsr olunmuş yeganə musiqi əsəri - prelyüdiya lya majoru Qarayev yuxuda eşidib, səhər isə qələmə alaraq Tatyanaya təqdim edib. 1982-ci il mayın 13-də Moskva şəhərində vəfat edib, Bakıda Fəxri Xiyabanda dəfn olunub.

1982-ci ildə Azərbaycan Dövlət Kamera orkestrinə bəstəkarın adı verilib, 1984-cü ildə Bəstəkar Qara Qarayevin gəmisi dənizə buraxılıb, 1989-cu ildə 8 illik orta musiqi məktəbinə Qara Qarayevin adı verilir. 1991-ci ildə Bakı şəhərinin “Avrora” metro stansiyasının adı dəyişdirilərək bəstəkarın xatirəsinə Qara Qarayev metro stansiyası adlandırılıb. Həmin ildə Bakı şəhərinin küçələrindən birinə Qara Qarayevin adı verilib. 1998-ci ildə “Qara Qarayev” poçt markası buraxılıb. 2007-ci ildə Qara Qarayev adına Beynəlxalq Müasir Musiqi Festivalı keçirilib.

TÜRKSOY 2018-ci ili “Qara Qarayev İli” elan edib. 2018-ci il oktyabrın 1-də Bakının Nizami küçəsində yerləşən ev muzeyinin açılış mərasimi olub.