История тортов-подушек насчитывает более четырехсот лет. Легенда гласит, что они возникли как закуска к чаю в резиденции Ли Вэньча, чиновника династии Мин в Императорской академии. Ли Вэньча, любезное имя Янмо, был уроженцем Хушаня, Гуаньси, уезда Пинхэ (ныне деревня Силинь, город Сяоси, уезд Пинхэ) и известным теоретиком музыки. Ли Вэньча был префектом Ляочжоу и Цзиньчжоу. Он заслужил расположение императора Цзяцзин за «презентацию своего музыкального трактата» и был принят на работу в качестве чиновника в Императорскую академию.
В эпоху Ваньли Ли Вэньча вышел на пенсию и вернулся в свой родной город Хушань. Чтобы продемонстрировать величие «пекинского чиновника», он привез из столицы кондитера, поручив ему создать уникальную выпечку для своих домочадцев в качестве закуски после напитков и чая, а также в качестве подарка для угощения родственников и друзей. Опытный и изобретательный шеф-повар создал «торт-подушку». Дворцовая знать попробовала его и очень им восхищалась. «Торты-подушки Сяоси» были обозначены как дань уважения императорскому двору и позже стали распространяться среди простого народа.