«Нью-Джерси Девилз». Финал Кубка Стэнли
Илья в финале Кубка Стэнли 2012
«Трэшерз», не сумев подписать контракт с Ковальчуком, потеряли бы ведущего игрока после окончания сезона без какой-либо компенсации — нападающий 1 июля 2010 года становился неограниченно свободным агентом, — поэтому руководство «Атланты» приняло решение обменять Ковальчука. В своём составе нападающего желали видеть многие клубы НХЛ, и после подтверждения информации о готовности «Трэшерз» обменять своего капитана, в борьбу за российского хоккеиста вступили сразу несколько команд лиги. Самое выгодное предложение в итоге сделал клуб «Нью-Джерси Девилз», и 4 февраля 2010 года Ковальчук вместе с Ансси Салмелой перешёл в этот клуб. «Атланта» также отдала свой драфтпик второго раунда 2010 года, а взамен получила трёх игроков: Джонни Одуйю, Никласа Бергфорса, Патриса Кормье, — и право выбора в первых двух раундах драфта 2010. Остаток регулярного чемпионата Ковальчук провёл в качестве альтернативного капитана «Девилз», которые сумели выйти в плей-офф 2010. Ковальчук второй раз за карьеру в НХЛ сыграл в плей-офф, где его новая команда выступила неудачно, проиграв серию в первом раунде «Филадельфия Флайерз» со счётом 1:4.
«Девилз» хотели убедиться, что хоккеист сможет заиграть в команде на высоком уровне, поэтому, получив права на Ковальчука, решили сразу не подписывать с ним новый контракт. Заключить договор с клубом Ковальчук смог только в межсезонье, причём процедуру подписания соглашения нападающему пришлось проходить дважды. Первый контракт сроком на 17 лет и общей стоимостью 102 миллиона долларов руководство НХЛ отказалось регистрировать, усмотрев в его условиях нарушения о положении «потолка зарплат», а затем через суд лига добилась аннулирования договора. «Девилз» намеревались всё же сохранить Ковальчука в числе своих игроков, поэтому клуб разработал новый вариант контракта общей стоимостью 100 миллионов долларов сроком на 15 лет, впоследствии одобренный НХЛ. Первый полный сезон в «Нью-Джерси» для нападающего сложился неудачно: его результативность оказалась самой низкой в НХЛ с 2002 года, а общий показатель полезности («-26») худшим в карьере. Одной из причин безуспешной игры Ковальчука стала длительная адаптация в звене на непривычном для себя правом фланге атаки, куда тренерский штаб клуба его определил. Для «Девилз» же сезон вовсе оказался худшим за 15 лет: команда очень плохо стартовала, а затем в течение всего регулярного чемпионата выступала нестабильно и в итоге впервые с 1997 года не смогла попасть в плей-офф.
Из-за неудачно проведённого регулярного чемпионата 2010/11 экспертами было поставлено под сомнение целесообразность подписания «Девилз» долгосрочного контракта с хоккеистом. Ковальчук же, несмотря на критические отзывы в свой адрес, в сезоне 2011/12 сумел проявить свои снайперские и бомбардирские качества. Наиболее успешными для нападающего оказались последние два месяца регулярного чемпионата, в течение которых он записал на свой счёт 18 голов (шесть из них за два хет-трика) и 25 передач, а заработанные 43 очка стали за этот период третьим показателем результативности в лиге — больше набрали только Стивен Стэмкос и Евгений Малкин. Благодаря высокой результативности в конце сезона, Ковальчук сумел возглавить список снайперов и бомбардиров «Нью-Джерси», а также у него получилось преодолеть отметку в 400 голов в рамках регулярных чемпионатов. «Нью-Джерси» вышел в плей-офф, где обыграв команды «Флорида Пантерз», «Филадельфия Флайерз» и «Нью-Йорк Рейнджерс», дошёл до финала. Ковальчук в плей-офф долгое время был лучшим по набранным очкам, и только полученная травма спины не дала ему возможности набрать больше баллов, чем заработали Анже Копитар и Дастин Браун. Повреждение также не позволило Ковальчуку в полную силу играть в финальной серии, которую его клуб проиграл «Лос-Анджелес Кингз» со счётом 2:4. После завершения сезона Ковальчук был включён в первую Сборную всех звёзд НХЛ.
Ковальчук в игре за санкт-петербургский СКА в сезоне 2012/13
Первую половину регулярного чемпионата 2012/13 Ковальчук из-за локаута в НХЛ провёл в Континентальной хоккейной лиге (КХЛ), играя за СКА. После подписания временного контракта с петербургским клубом Ковальчук был назначени капитаном команды. Тренерский штаб СКА сформировал звено, куда помимо Ковальчука вошли Владимир Тарасенко и Виктор Тихонов. Трое нападающих эффективно действовали в атаке на протяжении всей первой половины сезона, причём к моменту окончания локаута Ковальчук стал одним из лучших бомбардиров в КХЛ. Ковальчук продемонстрировал не только свои лидерские качества и умение результативно играть в нападении, но и сумел проявить себя как командный игрок. Перед возвращением в «Нью-Джерси», Ковальчук впервые в карьере сыграл в Матче звёзд КХЛ, в котором отметился хет-триком. Укороченный из-за локаута сезон в «Девилз», в отличие от выступления за СКА, для нападающего сложился менее успешно. В марте он получил повреждение плеча, которое вынудило пропустить 11 матчей. «Нью-Джерси» из-за слабой игры большинства своих нападающих весь регулярный чемпионат испытывал проблемы в атаке, а потеряв Ковальчука, основного лидера нападения, команда продемонстрировала очень низкие показатели результативности. Без Ковальчука «Девилз» забрасывали в среднем 1,73 шайбы за игру, реализовали 7,5 % большинства и проиграл 10 матчей. Травма нападающего стала одной из причин, по которой «Нью-Джерси» не попал в плей-офф 2013.