Era el batería y miembro fundador de la banda neoyorquina liderada por Gene Simmons. Kiss fue grupo de referencia para muchos jóvenes durante los años 70, sobre todo por su peculiar look y espectaculares puestas en escena. La formación original de la banda nacida en Nueva York en 1973, la completaban Genne Simmons (bajo y voz), Paul Stanley (guitarra y voz) y Ace Frehley (guitarra).
El cuarteto debutó con un álbum homónimo en 1974 y con Alive! (1975) empezaron a escalar puestos en las listas de ventas y a adquirir popularidad. Durante los años 80 y la primera parte de los 90, Kiss sufrió bajas y cambios pero nunca desapareció.
De hecho, fue en 1980 cuando Peter Criss decidió abandonar el grupo para iniciar una carrera en solitario. Sin embargo, la apuesta como solista de Criss no tuvo demasiada aceptación por parte del público que había sido fiel a Kiss.
En 1995, el batería se reencontró con sus antiguos compañeros para grabar un Unplugged, para una cadena de televisión. Dos años más tarde editaron un nuevo disco Psycho circus (1998) que sería el último de la banda. Sin embargo, los neoyorquinos siguen grabando y ofreciendo algunos conciertos. En la actualidad, Peter Criss continúa tocando con Kiss.