C'est à Alba que se trouvait le chef-lieu de la cité des Helviens et que résidèrent les premiers évêques. Mais vers 475 le siège administratif et le siège épiscopal furent transférés à Viviers, sans doute pour des raisons économiques. Le nom latin de Vivarium s'explique par la présence de réservoirs à poissons. La ville se développa et s'entoura de deux enceintes, celle de la ville basse et celle de la ville haute, religieuse. Les chanoines constituèrent le chapitre auprès de l'évêque. Entre 1032 et 1308, la ville dépendit du Saint Empire romain germanique avant d'être rattachée au royaume de France. En 1119, la cathédrale primitive fut reconstruite. Une porte monumentale, la tour-porte St Michel marqua l'entrée du quartier des chanoines. Le XIVe siècle fut une période difficile : ravages des « routiers », peste. Les remparts furent consolidés et les habitants se réfugièrent à l'intérieur des murs.
Mais au XVe siècle l'artisanat et le commerce se développèrent (travail du cuir, métiers à drap, foulons, moulins à blé et à huile). Deux faubourgs furent créés de part et d'autre de la ville. L'évêque Claude de Tournon fit reconstruire le choeur de la cathédrale dans le style gothique flamboyant. A la Renaissance la ville s'orna de belles façades dont la Maison des Chevaliers. En 1562 et 1567 les troupes protestantes conduites par Noël Albert, commerçant enrichi et propriétaire de la maison des Chevaliers dévastèrent la ville haute et une partie de la cathédrale.
Au XVIIIe siècle les hôtels particuliers de Roqueplane, Beaulieu et Tourville furent construits, ainsi que le palais épiscopal et un nouveau séminaire, hors les murs de la ville.
À la Révolution l'évêque prêta serment à la Constitution ; le siège de Viviers fut supprimé jusqu'en 1823. En 1833, ce fut le début de l'entreprise Lafarge et, vers 1900, la création du port actuel dont l'activité avec les bateaux de croisière est grandissante.
Viviers est l'un des trois secteurs sauvegardés de la région Rhône Alpes avec 9 monuments classés et 8 inscrits sur ta liste supplémentaire des Monuments historiques. Les dépliants publicitaires qualifient la ville de « musée d'architecture à ciel ouvert ».