Немецкие войска занимали Ростов дважды: осенью 1941 года и летом 1942 года. В первый раз части вермахта подошли к городу 17 ноября 1941 года. Наступление вел 3-й танковый корпус 1-й танковой армии под командованием Э. фон Макензена в составе 13-й и 14-й танковых дивизий, 60-й моторизованной пехотной дивизии и 1-й дивизии СС. Защищали город части 56-й армии РККА. Командовал генерал Ф. Н. Ремезова. В состав которой наряду с другими частями входили 339-я Ростовская стрелковая дивизия и Ростовский стрелковый полк народного ополчения, сформированные из местных жителей.
20 ноября немцы вошли в город. 1-й батальон дивизии СС прорвался к железнодорожному мосту и захватил его невредимым.
Через неделю, 28 ноября, советские войска под командованием маршала С. К. Тимошенко предприняли контрнаступление и отбили город. Освобождение Ростова стало первой значительной победой Красной Армии в начальный период войны.
Ростов оставался советским до июля 1942 года, когда после провала наступления Красной Армии под Харьковом немецкое командование начало наступление на Кубань и Кавказ. 24 июля 1942 в Ростов вошла 17-я армия вермахта. На этот раз советские войска не оказали врагу должного сопротивления, что было отмечено в тексте известного приказа НКО № 227 — «Ни шагу назад!».
Город был окончательно занят Красной армией 14 февраля 1943 года в результате планового отступления вермахта на линию обороны Миус-фронт.
В ходе второй оккупации имели место массовые убийства евреев. Местом массового уничтожения стала Змиёвская балка на окраине города, где оккупанты расстреляли и умертвили другими способами около 27 тысяч человек.
Война нанесла городу большой ущерб: Ростов-на-Дону вошёл в число десяти наиболее пострадавших от войны городов России. В городе в ходе боевых действий было уничтожено около 12 тыс. домов. Оккупантами было уничтожено более 40 тысяч человек[источник не указан 206 дней]. По некоторым данным, 53 тысячи ростовчан было угнано в Германию на принудительные работы.
На оккупированной немцами территории Ростовской области самовольно осталось около 10 тыс. коммунистов. Из них около 40 % уничтожили или сдали в гестапо свои партбилеты. После освобождения области из партии было исключено 5019 человек.
Как указывает в своей монографии историк И. Г. Ермолов, донские казаки, уцелевшие после расказачивания и коллективизации, в основной своей массе приветствовали немецких солдат как «освободителей от большевицкого ига». Германское командование, в свою очередь, рассматривало казаков, как союзников. Действия казаков по возрождению атаманского управления и разделу колхозного имущества встречали поддержку и одобрение со стороны немецких властей.
Из докладной записки УНКВД по Ростовской области № 7/17 от 16.03.1943:
«Дикий произвол и зверства оккупантов первых дней сменились организованным физическим уничтожением всего еврейского населения, коммунистов, советского актива и советских патриотов...В одной только городской тюрьме 14 февраля 1943 года — в день освобождения Ростова — частями Красной Армии было обнаружено 1154 трупа граждан города, расстрелянных и замученных гитлеровцами. Из общего количества трупов 370 были обнаружены в яме, 303 — в разных местах двора и 346 — среди развалин взорванного здания. Среди жертв — 55 несовершеннолетних, 122 женщины.»
Всего за время оккупации гитлеровцы уничтожили в Ростове-на-Дону 40 тысяч жителей, еще 53 тысячи угнали на принудительные работы в Германию.