Killing Joke образовались в 1979 году, когда барабанщик Пол Фергюсон (игравший в Matt Stagger Band) встретился в лондонском Ноттинг-Хилле с Джэзом Коулманом и оба решили создать в музыке «…нечто, способное выразить всю красоту и утонченность атомного века — в стиле, звуке и содержании». К группе вскоре присоединились басист The Rage Мартин «Youth» Гловер и гитарист Джорди. Переехав в Ноттинг-Хилл, Killing Joke записали дебютный EP Almost Red — на деньги, которые Джэз занял у своей подружки. Пластинка произвела впечатление на Джона Пила, и тот предложил группе рекординг-сешшн. В конце 1979 года она получила контракт в Island Records: под этой «крышей» и был образован (в сотрудничестве с художником Майклом Коулзом) их собственный лэйбл Malicious Damage, выпустивший дебютный сингл Wardance (февраль 1980 года). Перейдя на E.G. Records, группа выпустила дебютный Killing Joke: панк-металлический шквал звука, насыщенный гитарным дисторшном. Пройдет совсем немного времени, и Албини с Джоргенсеном сделают прото-индастриал «последним писком» рок-моды, но тогда, в 1980 году, громоподобный пульсирующий драйв дебютного альбома группы прозвучал громом среди (относительно) ясного неба. Тот факт, что Metallica лишь шесть лет спустя сделала кавер «The Wait», сам по себе свидетельствует о том, какое влияние на музыкальное развитие возымела эта, в сущности, андеграундная пластинка.

Приступив к активному гастролированию, Killing Joke тут же вызвали скандал провокационными постерами. Один из них, изображавший Папу Римского, благословляющего германских нацистов, привел к запрету на выступления ансамбля в Глазго. Примерно в то же время в музыкальной прессе стали появляться намеки на то, что Коулмен и коллеги злоупотребляют нацистской символикой. Впоследствии выяснилось, что музыканты, напротив, придерживаются левых взглядов, а Коулмен (наполовину — индиец) ненавидит расизм и фашизм.