Мэдсен родилась в Чикаго, штат Иллинойс. Она является дочерью Элейн Мэдсен (урождённая Мелсон), поэтессы, режиссёра и драматурга, которая часто работала на PBS, и Кельвина Мэдсена, пожарного. Мать Вирджинии Мэдсен оставила работу в PBS, чтобы больше времени уделить литературной деятельности. Её старший брат - известный актёр Майкл Мэдсен. Её дедушка и бабушка по отцовской линии переехали в США из Дании в начале XX века, а у её предков по материнской линии есть ирландские и индейские корни. Мэдсен является выпускником средней школы «Нью-Триер» в городе Виннетке, штат Иллинойс. После окончания школы Вирджиния училась в актёрской студии Теда Лисса в Чикаго и посещала семинар в театре «Театр для взрослых «Харанд Кэмп»» в Элкхэрт-Лейк в Висконсине.