Родился 22 января 1954 года в семье военнослужащего Исаака Ярмольника и Фаины Ярмольник, лаборанта в клинической лабораториив в небольшом городке Гродеково Приморского края.В 1960-е годы семья переехала во Львов. Учеба давалась ему легко, учился играть на аккордеоне, очень любил читать, а также в какой-то момент сильно увлекся театром. Поступил в театральную студию при Народном театре имени Ленинского комсомола.После окончания школы Леонид Ярмольник подал документы в Ленинградский институт театра, музыки и кино. Но поступить туда не удалось, и юноше пришлось ждать целый год, чтобы попробовать снова. На этот раз Ярмольник решил не рисковать и выбрал столичное Щукинское театральное училище, куда и был успешно зачислен.В 1976 году он выпустился из училища и был отправлен на работу в Театр на Таганке.
Первая роль в спектакле «Мастер и Маргарита». Тогда вместе с ним трудились Валерий Золотухин, Вениамин Смехов, Алла Демидова, а так же Владимир Высоцкий. В 1983 году ушел из Театра на Таганке. «Театральная жизнь у меня как-то не сложилась, - говорит актер, - восемь лет я работал на Таганке, но настоящей роли, которой бы я гордился, так и не дождался. И я был первым, кто написал заявление по собственному желанию, когда в театре появился Эфрос. Я ему был неинтересен как актер, и не нужен. Он мне, не стесняясь, об этом говорил. Тогда было мало безработных актеров, и я постоянно искал работу, хватался за все, концерты и творческие вечера, появлялся в кино и на телевидении».
Мечты о кино появились у Ярмольника еще в студенчестве. Он дебютировал только в 1974 году в картине «Ваши права». Но фильм остался незамеченным. В 1979 году Леонид Ярмольник появился перед многомиллионной аудиторией зрителей в образе «цыпленка табака» в телепередаче «Вокруг смеха». И это уже был настоящий успех. Таким Ярмольника запомнили и полюбили. Александр Абдулов постарался и продвинул товарища на съемки телекартины «Тот самый Мюнхгаузен» Марка Захарова.
Леониду доверили роль сына главного героя Феофила, избалованного и истеричного. Позже последовала роль бандита Кнуса в ленте «Сыщик» Валерия Фокина. Настоящим украшением фильма стал известный эпизод «А я говорю — не рычи!».
В 1995 вышла романтическая кинокартина «Московские каникулы» фильм имел большой успех у зрителей, а теплые отзывы критиков принесли Леониду кинонаграду «Золотой овен» в номинации «Продюсер года».
Был ведущим телеигр «Форт Байяр», «Золотая лихорадка», «Гараж», «L-клуб».