Ses parents, Maurice et Claudia, tiennent un café, le Café du Pont, dans lequel il passera une grande partie de son enfance, apprenant par là même, de nombreux argots et langages de métiers.
Parallèlement, son père l'incite à monter son premier petit orchestre de quatre musiciens à son propre nom et, pendant quelques années, ils tournent dans toute la région, de bals en fêtes familiales. À 14 ans, il intègre le conservatoire de musique de Toulouse et s'inscrit aussi au conservatoire d'art dramatique. Il obtiendra un premier prix de saxophone. Parallèlement, il continue de jouer dans des bals.
En 1954, il effectue son service militaire. Il visite alors régulièrement l'écrivain Paul Léautaud et racontera cette fréquentation en 1972 dans Adieu Monsieur Léautaud. Ayant fait la connaissance de Georges Brassens, il fréquente de plus en plus le milieu de la chanson parisienne. En 1956, on le retrouve en train d'accompagner à la guitare la jeune chanteuse Françoise Marin dans le cabaret La Colombe.
Cette chanteuse, recommandée par Georges Brassens, a été embauchée après avoir enthousiasmé le jury au cours d'une audition au théâtre des Trois Baudets, chez Jacques Canetti. Pierre Perret qui est l'auteur compositeur des chansons a préféré attendre la fin de l'audition pour remettre à Jacques Canetti la lettre de recommandations de Georges Brassens.
C'est alors qu'un des membres du jury lui conseille fortement de continuer à composer. Le Monsieur s'appelle Boris Vian. Encouragé également par Puppchen, la compagne de Georges Brassens, Pierre commence à écrire pour lui. Un soir, mis dans la confidence, Michel Valette, le patron de La Colombe annonce aux clients qu'ils vont assister à la première représentation d'un nouveau chanteur auteur compositeur. Pris par surprise et après s'être fait prier dans une ambiance bon enfant, Pierre Perret finit par accepter de se produire. Il remporte un vif succès.

En 1969, il joue dans le film Les Patates de Claude Autant-Lara avec Jacques Balutin, Rufus, Henri Virlojeux, Bérangère Dautin, Pascale Roberts, Christine Aurel. Il compose la musique de ce film. Le contrat le liant avec Vogue expirant en 1969, il décide avec sa femme, de s'auto produire en fondant les éditions Adèle (du nom de sa première chanson).
En 1970, il se joue dans un western comique de Jean Girault, Le Juge, avec Robert Hossein. Il signe également la musique de ce long métrage. Il connaît son plus gros succès en 1974 avec le Zizi (5 millions d'exemplaires). Il se met petit à petit à écrire des textes plus graves. Sa chanson Lily, écrite en 1977, deviendra un classique des chansons anti-racistes. Il écrit également sur la famine (Riz pilé), l'écologie (Vert de colère), la guerre (La Petite Kurde), le tabac (Mourir du tabac), l'avortement (Elle attend son petit) ou la remontée du fascisme (La Bête est revenue). En 1999 il fait une tournée, passant notamment au Festival des Vieilles Charrues où il chante devant 60 000 personnes.
En 2003, il collabore avec le groupe les Ogres de Barback pour son album Çui-là. Il revient à des arrangements évoquant la variété des années 1970 pour son album suivant, Mélangez-vous, qui sort en 2006. Ses ventes n'atteignent plus les records d'autrefois, mais Pierre Perret a toutefois la stature d'un monument de la chanson française. Il est également devenu un auteur à succès comme avec son dictionnaire Le Parler des métiers, sorti en 2002. En 2006, il est invité par le président de l'Assemblée nationale Jean-Louis Debré, à quelques jours de la reprise de la discussion du projet de loi sur les droits d'auteur ; il a plaidé contre la licence globale : " C'est comme si l'on rentrait dans une boulangerie et que l'on raflait tout sans payer ".
Fin 2007, il sort un album de chansons paillardes intitulé " Le Plaisir des Dieux " (du nom de l'Association des salles de gardes). Il écrit : " Il y a des lustres que je rêvais d'avoir le temps d'enregistrer un jour ces chansons de salle de garde. " Il interprète, et parfois réécrit, certaines de ces chansons comme l'avait fait Georges Brassens. En 2008 parait le double album " Les Dieux paillards " qui est la suite et la fin de son anthologie de la chanson paillarde.