Артист был женат всего раз – на враче московского бассейна «Чайка» Наталье Георгиевне Отливщиковой. Дочь призналась, что отец очень любил супругу и всегда ей уступал. Он ревновал ее до самого последнего дня и настоял на том, чтобы она вышла на пенсию в 55 лет.
Олег Анофриев с супругой // Кадр программы «Сегодня вечером»
«Он до последних дней ревновал маму чуть ли не к фонарному столбу. Заставил уйти с работы, как только ей исполнилось 55. Он безусловно был лидером в семье, всегда настаивал на своем, но делал так, как хотела мама. Она всегда промолчит, а потом скажет: «Ну, может сделаем вот так?», и папа сразу сдавался, «Как ты хочешь, так и будет», - рассказала Мария.
Олег Анофриев с правнуком // Кадр программы «Сегодня вечером»
Коллеги Анофриева помнят его как очень веселого человека, который всегда старался быть в центре внимания. В последние годы он признавался, что на гастролях изменял супруге, но о разводе ни когда не задумывался и другим женщинам ни разу не говорил, что любит.