Окончил Московское художественно-промышленное училище им. Калинина (1951-1957) и Московский полиграфический институт (1957-1962). После окончания института несколько лет посвятил книжной графике. Из наиболее значительных его работ в этой области – иллюстрации к сказкам Г. Х. Андерсена, стихам Г. Сапгира, О. Дриза, И. Пивоваровой, к сказке А. Погорельского «Черная курица», к «Скандинавским сказкам» и другим.

С 1967 г. начинает систематически работать сначала в разных графических тематиках, а с 1970 г. в живописи. В 1970-е гг., вслед за Кабаковым, разрабатывает новый синтетический жанр, соединяющий рисунок и текст, который получил название «альбомы». В этом жанре с некоторыми перерывами Виктор Пивоваров работает до настоящего времени. Им созданы альбомы : «Слезы» (1975), «Лицо» (1975), « Конклюзии» (1975), «Сад» (1976), «Эрос» (1976), «Забор» (1977), «Сакрализаторы» (1978), «Микрогомус» (1979), «Кабаков и Пивоваров» (1982), «Красивые действия» (1989), «Агент в Норвегии» (1993), «Мамлеев и Гипермамлеев» (1995), «Плохое настроение» (1995), «Если» (1995), «Действующие лица» (1996), «Шаги механика» (1999), «Свидетельства современников» (1988-2000), «Желтый» (2001), «Заблудившийся Данте» (2001) и другие.

В области живописи Виктор Пивоваров отдает предпочтение тематически связанным концептуальным циклам и сериям картин. Например: «Проекты для одинокого человека» (1975), «Семь разговоров» (1976), «Июнь-Июнь» (1978), «Дневник подростка» (1986-1988), «Время Розы» (1988), «Китайские руководители» (1989), «Белые шарики» (1990), «Квартира 22» (1992-1995), «Неограниченные возможности живописи» (1992), «Метампсихоз» (1993), «Небесный Хелом» (1998), «Кабинет доктора Фрейда» (1999), «Эйдосы» (2001-2003), «Разрезные картинки» (2003), «Темные комнаты» (2003) и другие.

С 1982 г. живет и работает в Праге.