Артист допустил немало ошибок на любовной сфере. И одно из них стоило ему общения с сыновьями, отрекшимися от отца.
В 21 год Стоянов женился на искусствоведе Ольге Синельченко. В первый год брака родился сын Николай, а через два года – Алексей. На рождении первенца присутствовал отец актера, гинеколог Стоянов-старший. Но, несмотря на это доверие, брак распался из-за измены молодого артиста. Гордая жена пообещала, что он никогда больше не увидит своих сыновей. Тогда младшему Леше было всего три года. Так и произошло. О судьбе мальчиков Стоянов узнал от отца. Только ему Ольга разрешила увидеться с детьми.
После смерти отца Стоянов потерял связь с сыновьями. Фамилия мальчиков была изменена на Холопов, по фамилии отчима, доктора физико-математических наук. В их документах отчество не Юрьевич, а Максимович. Оба окончили МГУ, старший работал в телекомпании, затем открыл собственный бизнес. Сам Стоянов отзывается об их судьбе сдержанно и с благодарностью: "Они были очень хорошо воспитаны. Их воспитал порядочный, хороший человек. Они получили прекрасное образование. И поэтому я не даю никаких комментариев, потому что это могло повлиять на другую семью, к которой я не имею никакого отношения и не имею права вмешиваться. Они не были несчастными детьми с папой-алкоголиком или чем-то в этом роде. Замечательный человек их воспитал, воспитал, накормил и поставил на ноги. Но это не я".
В 1983 году Стоянов женился во второй раз, на Марине Венской. Брак продлился 12 лет, но детей не было. Развод произошел по той же причине. Влюбчивый актер закрутил роман. Свою семейную историю он позже называл естественной для человека «очень влюбчивой и искренней»: «Я никогда не умел заводить романы: влюбился и женился».
Еще до развода в жизни Стоянова появилась Елена, представитель компании-спонсора Городка. Ухаживание было красивое, как у актера: лучшие отели Петербурга, номера с видом на площадь Искусств. Женщина не выдержала. В этом браке Стоянов обрел долгожданное отцовство – причем сразу с тремя дочерьми. Двух старших, Ксению и Анастасию, он принял как родных и даже снимал их в «Городке». В 2003 году у них родилась общая дочь Екатерина.
В интервью "КП" актер с гордостью признается, что его окружают женщины всех возрастов, и это помогает ему понимать их. "Что касается общения с женщинами, то здесь мне очень повезло! У меня дома их четверо: жена, которая младше меня, и три дочери – старшей 37, средней 32 и младшей 22. Так что я постоянно общаюсь с разными поколениями. Я говорю с молодыми людьми о жизни, о выборе, о том, как не бояться быть собой. Со сверстниками – о памяти, о смысле, о том, что важно. Ну, а съемочная площадка — это то место, где у меня всегда рядом есть актрисы. И когда видишь, насколько это может быть тяжелая работа, по-настоящему изматывающая как физически, так и эмоционально, ты не можешь не испытывать огромного уважения. Я искренне восхищаюсь каждой из девушек, с которыми мне довелось сниматься».