Если мы говорим про плавность по вертикали, давайте считать:
Пусть у нас дисплей будет 800*600 пикселей, с диагональю 8 дюймов. Для осла это очень хорошее разрешение, и размерчик весьма удачный. 600 строк - это 9-10 разрядов АЦП.
При 9 разрядах будет немного не хватать для того, чтобы каждой из 600 строк соответствовала 1 "ступенька" сигнала. Неизбежно где-то возникнет "перескок" в две строки.
При 10 разрядах обратная картина - шаг уровня сигнала будет меньше "межстрочного" шага дисплея. И опять где-то возникнет маленькая неточность.
Но если взять дисплей с 512 строками, то каждому приращению уровня будет соответствовать переход на одну строку вверх.
Вариант: для отображения сигнала использовать "круглое" значение строк на "избыточном дисплее. а оставшееся поле (у нас 88 строк) использовать для других целей (отображение служебной информации).
Теперь зайдем с другой стороны. 8" дисплей имеет размер по вертикали ~90 мм. Значит, размер пикселя во вертикали 90/600=0,15 мм. Если даже у вас зрение единица, вы вряд ли четко увидите полоску такой ширины на расстоянии 0.5-0,7 метра (обычное расстояние от глаз до экрана). Тем более, если это светящаяся линия. А один светящийся пиксель будет казаться куда большим по размеру, чем есть фактически. Это особенности нашего зрения.
Так что линия, составленная из последовательности пикселей (как по вертикали, так и по горизонтали, так и по диагонали под любым углом) нашим глазом будет восприниматься не как составленная из отдельных точек, а как непрерывная.
Следовательно, и дискретные регулировки уровня (или развертки) нами будут восприниматься как плавные.
Выше я предположил, что у нас 10 разрядный АЦП. Будет ли этого достаточно для того, чтобы растянуть на весь экран какую-то "часть" сигнала, допустим, зону перехода фронта меандра в горизонтальную полку? Ведь именно там обычно и расположены интересующие нас артефакты сигнала. Уверен, что будет достаточно. И здесь математика вам в помощь - аппроксимируете сколько угодно!
Следует четко представлять себе, что мы желаем видеть на экране осла, и главное - для чего нам нужна визуализация в принципе. Глазами мы не можем оценивать количественные параметры. Глаза - плохой "измеритель".
Так что не стремитесь получить избыточные параметры - они не нужны для такого прибора, как осел самодельщика.