Groupe à part dans la sphère du rock progressif, Harmonium est indissociable du mouvement indépendantiste québécois de la fin des années 70. Le groupe est considéré par toute une génération en quête d’identité, comme une alternative culturelle face aux modèles anglo-saxons dominants, dans un Québec en proie à cette révolution dite tranquille qui allait amener le parti séparatiste de René Lévesque au pouvoir. A l'opposée de la tradition anglophone plus axée sur l'ornementation, il est l'un des rares groupes a avoir su transmettre une sensibilité dénuée d'artifice. Cette générosité dans l’expression des sentiments s’accompagne en outre d’une économie de moyens et d’une simplicité formelle qui confèrent à ses compositions une formidable limpidité.
Cette sensibilité est grandement due à la personnalité du leader du groupe, Serge Fiori, chanteur tourmenté, parfois contradictoire et souvent même dépressif. « L’art », expliquait-il lors d’un entretien en 1996, « est plus fort que soi, un état, une recherche de vérité. C’est la transmission pure des états altérés de la conscience. J’ai touché il y a longtemps quelque chose qui existe. Il n’est pas un seul projet qui ne parte d’un besoin profond ».
Serge Fiori, né le 4 mars 1952 à Duvernay-Laval (Québec), est originaire de la communauté italienne de Montréal, dans le quartier dit de la Petite Italie. A l’âge de quatre ans, il chante déjà pour le groupe de jazz de son père, Georges Fiori, un orchestre de bal populaire se produisant à l’occasion de soirées privées et de diverses festivités. Autodidacte, à 12 ans il maîtrise les bases de la guitare et dès 15 ans il se produit dans les clubs et les bars de la région, toujours avec l’orchestre de son père, commençant plus ou moins à gagner sa vie par la musique.
Le groupe Harmonium naît en 1972 de la rencontre entre Serge et Michel Normandeau. Ce dernier, passionné de théâtre, projette de monter sur scène une pièce écrite par un ami d’enfance, Claude Meunier, future étoile de la scène comique québécoise des années 70 et 80. Il propose à Serge de composer la musique. La séparation entre Meunier et Normandeau (qui étaient co-locataires) mettra un terme au projet initial; et Fiori vient s'installer avec Michel. Michel Normandeau pratiquant également la musique (guitare, accordéon et dulcimer), ils commencent tout les deux à composer quelques chansons en anglais.
Après l’enregistrement d’une bande démo, le duo prend contact avec Yves Ladouceur, qui travaille à l’époque comme programmateur pour la station de radio CKVL (devenue par la suite CKOI FM, l’une des toutes premières radios FM du Québec). Il va devenir le premier manager du groupe, et l’un des plus grands artisans de son succès, notamment en leur conseillant d’opter pour des paroles en français, un choix particulièrement pertinent compte tenu du faible nombre de chanteurs francophones officiant dans ce style musical, et de l’émergence d’un jeune public à la recherche de racines, en majorité estudiantin.
Le groupe trouve sa structure définitive en 1973 avec l'arrivée de Louis Valois à la basse et prend le nom d'Harmonium. Ils passeront l'été a se produire dans des « boîtes à chansons » (telles Chez Dieu, l'Évêché, l'Iroquois ou le Patriote de Montréal), très répandues au Québec à cette période.
Le succès est au rendez vous, le 25 juin 1973 Yves Ladouceur parvient à les faire participer à un gigantesque spectacle organisé dans le vieux Montréal à l’occasion de la fête nationale du Québec, le jour de la Saint-Jean, devant 300 000 personnes, et diffusé en direct sur CKVL-FM. En novembre de la même année, Ladouceur les fait passer également sur les ondes de CHOM-FM (une radio encore en activité, et orientée "classic rock"), à l’émission Son Québec, le temps d’interpréter quelques chansons (« Pour un instant », « Un Musicien parmi tant d’autres », et « Un Refrain parmi tant d’autres », titre qui ne figurera jamais sur disque).
Malheureusement, comme avec beaucoup de groupe de rock progressif, les maisons de disques restent frileuses. Le durée des chanson, et le style expérimental leur vaut le refus de Capitol, Barclay, Polydor, London Records, CBS et Warner. Finalement c'est la maison de disque Quality qui accepte de signer Harmonium en lui laissant une totale liberté artistique. Le groupe entre donc en studio début 1974 et enregistre son premier album (en quatre jours seulement, à la demande de leur producteur !), intitulé Harmonium, qui sort en avril de la même année. Cette œuvre de jeunesse peut sembler bien éloignée des canons progressifs les plus familiers, et surtout à mille lieues de l’exubérance virtuose dont faisaient preuve au même moment les ténors de la scène.