Канзас-Сити Скаутс дебютировали в НХЛ в сезоне 1974-1975 годов. Практически полное отсутствие в команде ярких игроков явилось причиной слабой игры и всего 15-ти побед в 80 матчах. На следующий сезон Скаутс сыграли ещё хуже, одержав лишь 12 побед. С ужасной игрой пришла проблема посещаемости и команда, перед сезоном 1976-77 годов, перебралась в Денвер, сменив свою вывеску на Колорадо Рокиз. Время пребывания клуба в Денвере от времени в Канзасе отличается лишь продолжительностью, но не результатами. Рокиз прочно закрепили за собой место среди безнадёжных аутсайдеров НХЛ.
В 1982 году, после шестилетнего летнего пребывания в Колорадо, команда была приобретена Джоном Дж. МакМулленом, перевёзшим клуб в Нью-Джерси. Команда снова сменила своё название и стала «Дэвилз». Но казалось, что ничего не может помочь заклеймённому неудачами клубу. "Дэвилз"продолжали оставаться на последних местах вплоть до 1988 года, тренеры менялись почти каждый год или даже чаще. В 1983 году команда даже удостоилась унизительного сравнения Уэйна Гретцки, назвавшего «Дэвилз» «организацией Микки Мауса» после победы Эдмонтона над Нью-Джерси 13:4.
Переломным пунктом в истории клуба стало 24 апреля 1987 года, когда МакМуллен пригласил на пост президента «Дэвилз» Луи Ламорелло, занявшего вскоре и место генерального менеджера. В НХЛ в сезоне 1987-1988 годов Ламорелло назначил Джима Шоенфилда на пост старшего тренера. Под руководством нового тренера и также с помощью молодого вратаря Шона Бурка, вернувшегося в команду сразу после Олимпийских Игр в Калгари, «Дэвилз» на 14 год своего существования, сумели не только пробиться в плэй-офф, но и дойти до финала конференции, обыграв по ходу «Айлендерс» и «Кэпиталз», но проиграли Бостону.
После провала 1988-89 годов (66 очков, не попадание в плэй-офф), Шоенфилд был уволен и в «Дэвилз» снова началась чехарда тренеров. Ситуация стала стабильной с приходом на тренерский мостик летом 1993 года Жака Лемэра. В свой первый год работы, Лемэр поднял команду до 106 очков в регулярном сезоне и до финала конференции в плэй-офф, в котором «Дэвилз» проиграли «Нью-Йорк Рэйнджерс» в семи матчах, в двойном овертайме.
Система игры от обороны, внедрённая Лемэром, дала плоды в 1995 году, когда «Дьяволы» обыграв по очереди Бостон Брюинз, Питтсбург Пингвинз, Филадельфию Флайерс и Детройт Ред Уингз выиграли свой первый Кубок Стэнли. Лучшими в команде были вратарь Мартин Бродо, защитник Скотт Стивенс, и нападающий Клод Лемье, признанный лучшим игроком в плэй-офф. Тот сезон запомнился поклонникам команды не только победой, но и угрозой МакМуллена перевезти команду в Нэшвилл, если он не получит более выгодного продления договора по ренту стадиона «Барни Арена» от его хозяев. Только вмешательство комиссионера НХЛ Гари Бэтмена и губернатора штата Нью-Джерси помогло утрясти конфликт.
Перед началом следующего сезона Лемью, из-за разногласий по подписанию нового контракта, был обменён в «Колорадо Эвеланш». Но не это стало причиной непопадания команды в розыгрыш Кубка Стэнли, а игра соперников, нашедших ключ к защитным построениям Лемэра.
Учтя ошибки того сезона, Лемэр привёл команду к 104 очкам в 1996-97 гг. Однако травма одного из ведущих нападающих команды, Дэйва Андрейчука помешала «Дэвилз» пройти дальше полуфинала конференции, в котором они проиграли в 5 матчах «Нью-Йорк Рэйнджерс».
Набрав 107 очков в сезоне 1997-98 годов, «Дэвилз» рассматривались как главные претенденты на победу в Кубке Стэнли, но играя без своих травмированных лидеров Дага Гилмора и Рэнди МакКэя, Нью-Джерси неожиданно проиграло в первом раунде «Оттаве Сенаторс». После завершения сезона, Жак Лемэр заявил о своей отставке с поста старшего тренера. Его место занял Роберт Фторек, но следующий сезон 1998-99 годов закончился также как и предыдущий — поражением в первом раунде плэй-офф, на этот раз от Питтсбурга.
«Нью-Джерси Дэвилз» резво начали сезон 1999—2000 годов и сразу захватили лидерство в восточной конференции. Во второй половине регулярного чемпионата команда стала проигрывать чаще. Не помогли и обмены, проведённые Ламорелло, в результате которых в составе появились Александр Могильный и Владимир Малахов. Полностью провалив финиш, Нью-Джерси позволили Филадельфии обойти себя на финише и заняли всего лишь 4 место на востоке. Роберт Фторек был уволен за две недели до конца регулярного сезона со своего поста и заменён Ларри Робинсоном.
Неожиданно для многих, этот шаг оказался гениальным — в плэй-офф «Дэвилз» выглядели намного лучше своих соперников и по очереди расправившись с Флорида Пантерз, Торонто Мейпл Ливз, Филадельфия Флайерс и Далласом, выиграли свой второй Кубок Стэнли. Этот сезон стал последним для Джона Дж. МакМуллена на посту владельца команды. Растроенный разногласиями с руководством штата по вопросу о новом стадионе, он продал команду фирме «ЯнкиНетс».
В 2001 году «Дэвилз» были в шаге от повторения своего успеха, но ведя в финале 3-2 против «Колорадо», умудрились упустить победу. Перед 2001-02 гг «Нью-Джерси» потеряли Александра Могильного, ушедшего в Торонто, что сразу сказалось на атаке команды. Весь год команду лихорадило, Ламориелло заменил Робинсона на Константина, однако в плэй-офф «Дэвилз» уступили «Каролине» 2-4. Летом 2002 года на пост старшего тренера пришёл опытный Пэт Бёрнс, который в первую очередь подтянул гайки в защите «Нью-Джерси» и «дьяволы», воспользовавшись неудачей многих ведущих клубов в плэй-офф 2003 года, сумели обыграть в финале в семи матчах «Анахайм» и в третий раз за последние девять лет выиграть Кубок Стэнли.
Из-за раковой болезни Бёрнс покинул «Дэвилз» практически сразу победы и Лу Ламорелло снова начал казалось бесконечные поиски нового старшего тренера. В середине 2000-х годов, у команды практически каждый сезон появлялся новый наставник, а порой и сам Ламорелло занимал этот пост. Мартин Бродо продолжал надежно защищать ворота, в атаке блистали Патрик Элиаш, Скотт Гомез, Брайан Джионта, однако в плэй-офф «дьяволы» постоянно выбывали из борьбы на ранних этапах.
Большие изменения произошли в клубе летом 2009 года ряд ветеранов покинули клуб (Бобби Холик, Брайан Джионта, Джо Мэдден и другие) но на пост главного тренера неожиданно был возвращен Жак Лемэр .
