父亲一向只欢喜长子阿贝尔，两个小兄弟，欧仁和维克托，从小就难得见到父亲，直到一八二一年母亲死后，父亲才渐渐注意到两个孤儿，也在这时候，维克托发现了他父亲“伟大处”，才感觉到这个硕果仅存的老军人，带有多少史诗的神秘性和英雄气息。但在母亲生存的时期，幼弱的儿童所受到父亲的影响，只有生活的悲苦，从一八一五年起，雨果将军差不多是退伍了，收入既减少，供给妻子的生活费也就断绝了：母亲和两个小儿子的衣食须得自己设法。幼年所受到的人生的磨难，数十年后便反映在《悲惨世界》LesMisérables里。维克托·雨果描写玛里于斯·蓬曼西（MariusPontmercy）从小远离着父亲的生活：父亲是拿破仑部下的一个大佐，早年丧妻，远游在外，又因迫于穷困，把儿子玛里于斯寄养在有钱的外祖家。这是一个保王党的家庭，周围的人对于拿破仑的名字都怀着敌意，因为父亲是革命军人，故孩子亦觉得到处受人歧视：“终于他想起父亲时，心中满着羞惭悲痛……一年只有两次，元旦日和圣乔治节（那是父亲的命名纪念日），他写信给父亲，措辞却是他的姨母读出来教他录写的……他确信父亲不爱他，故他亦不爱父亲……”这段叙述，只要把圣乔治节换作圣莱沃博节，把姨母换作母亲，便是维克托·雨果自己的历史了。如玛里于斯一般，维克托想着不为父亲所爱而难过。见到自己的母亲活守寡般的痛苦，孤身为了一家生活而奋斗，因了母亲的受难，觉得自己亦在受难，这种思想对于幼弱的心灵是何等惨酷！雨果早岁的严肃，在少年作品中表现的悲愁，便可在此得到解释。他在一八三一年（二十九岁）刊行的《秋叶》Feuillesd'Automne诗集中颇有述及他苦难的童年的句子，例如：
Maintenant, Jeuneencoreetsouvent éprouvé,
J'aiplusd'unsouvenirprofondémentgravé,
EtI'onpoutdistinguerbiendeschosespassees,
Danscesplisdefrontquecreusentmespénses.
（大意）
年少磨难多，回忆心头锁，
额上皱痕中，往事曷胜数。
父亲赐予儿童的，除了早岁便识得人生悲苦以外，还有长途的旅行，当后来雨果逃亡异国的时候，他的夫人根据他的口述写下那部《一个伴侣口中的维克托·雨果》VictorHugoraconté paruntémoindesavie，其中便有多少童年的回忆，尤其是关于一八一一年维克托九岁时远游西班牙的记录，无异是一首儿童的史诗。
