Il Pumi può essere raro e relativamente sconosciuto, tuttavia i loro parenti stretti sono il Puli ungherese e il Terrier tibetano. Gli antenati dei Pumi erano cani da pastore portati dai popoli magiari, migrati dalla regione degli Urali-Altay tra la Cina e il Mar Caspio, al bacino dei Carpazi intorno all'800 d.C. A quel tempo l'allevamento si basava sulla capacità lavorativa più che sull'aspetto, tuttavia il Pumi fu ulteriormente perfezionato fino a diventare il cane che conosciamo oggi, con l'aggiunta dello Schafspudel di Pomerania (Barboncino da pastore) e dell'ormai estinto Hutespitz (Spitz da pastore).
Il lavoro del Pumi era complesso, e il titolo di "cane da pastore" non lo definisce completamente. I Pumi dovevano guidare il bestiame (capre, bovini, pecore) all’interno di stretti passaggi e piccole strisce di terra. I loro compiti erano impedire al loro bestiame di superare i confini non recintati, avvicinarsi al bestiame, muoversi tra le zampe degli animali per precedere il gregge in uno spazio ristretto e, naturalmente, stare attenti al pericolo e, in generale, agire come cani da guardia. Queste sfide sono state spesso completate dal cane senza un conduttore umano nelle vicinanze, quindi hanno dovuto prendere decisioni da soli e spesso molto rapidamente.
Il Pumi moderno è ancora un cane agile, coraggioso, veloce e indipendente che adora il suo padrone ma ha davvero bisogno di lavorare. Nonostante la sua lunga storia di lavoro con gli esseri umani, rimane piuttosto raro nel Regno Unito, ricevendo classi di razza dal Kennel Club del Regno Unito solo nel 2020.