Он жил в обществе знакомых отца – Бентама, Грота, Рикардо, людей пожилых и серьезных, занятых исключительно умственными интересами. Подобная обстановка не по годам состарила Милля, убила в корне его детскую жизнерадостность и чрезвычайно ослабила его способность к наслаждению. Она подготовила тот душевный кризис, который в 20 лет чуть не привел Милля к самоубийству.
Привыкнув постоянно жить в книгах, Милль чувствовал себя очень неловко в обыденной жизни, был непрактичен, рассеян, не умел справляться с простыми вещами, которые легко давались всем другим, и часто выслушивал за это выговоры от отца. Ко всему, что не касалось учения, он проявлял мало интереса и казался даже вялым. Он сам пишет по этому поводу:
«Дети энергичных родителей обыкновенно бывают неэнергичными, потому что они подавляются личностью своих родителей. Воспитание, которое мне дал отец, более развило во мне способность познавать, чем действовать. Он прекрасно это сознавал и сурово упрекал меня за недостаток энергии. Но, оберегая меня от деморализующего влияния школьной жизни, он ничего не делал, чтобы заменить для меня ее светлые стороны. Ему казалось, что я легко приобрету те качества, которые ему самому давались без всяких усилий. На эту сторону воспитания он не обратил такого тщательного внимания, как на все остальные, и в данном случае, как и в некоторых других, рассчитывал на действие без причины».
Отец Милля не признавал в теории, что чувство любви должно быть основанием нравственности, и сам мало был к нему способен. Но сын имел другую натуру; последующие события его жизни показывают, что он мог любить сильно и горячо. В детстве он страдал от холодности отца.