На примере коврика с жёлтой звездой - начать со светло-жёлтого треугольника:
набрать петель 5, вязать платочной вязкой, в каждом ряду, перед первой и последней петлёй прибавлять по одной петле. То есть в каждом ряду у нас буде +2 петли.
Начиная с тёмно-жёлтого - с одной стороны убавлять по одной, провязывая две первые петли вместе, а с другой - продолжать прибавлять.
Затем голубым, цепляясь за полотно (с той стороны, где у нас два жёлтых соединены), набираем петли и со стороны светло-жёлтого убавляем по одной в каждом ряду, а с другой стороны делаем зубчики.
Потом так же цепляемся к голубому краю (где мы убавляли) набираем петли синим и точно так же слева убавляем, справа - зубчики.
Повторяем все эти действия ещё 4 раза. Можно сразу цепляться к полотну, а можно потом сшить.
Там, где мы будем прибавлять, край полотна будет выпуклым, а где убавляем - вогнутым - это будет получаться само.))) Надеюсь понятно объяснила.))) Если непонятно, я попробую нарисовать что ли, или связать маленький коврик-образец. Вот только надо вспомнить как зубчики делаются, давно я их не делала. Ошибочка - не "перед первой петлёй", а "ПОСЛЕ первой петли - накид, и, соответственно, перед последней петлёй тоже накид." А зубчики - это пико, а между ними столбики без накида. Ещё пара нюансов: на фото ниже видно, что это не платочная вязка, а где-то ряда 3 лицевых и один изнаночный. А так же, соединительный ряд того же цвета, что и тот, к которому цепляемся. Здесь он зелёный. То есть, по краю зелёного полотна вяжем один зелёный ряд, а следующие - вишнёвым.


Там, где чёрные точки - убавлять по краям, по 1 петле в каждом ряду; где белые - прибавлять.
Hа фликре нашлось очень много разных вариантов  исполнения
коврика причудливой формы.