А как в Unity в Lerp изменить скорость (плавность) замедления, что бы оно происходило быстрее?

Чтобы в Unity в Lerp изменить скорость (плавность) замедления, чтобы оно происходило быстрее, можно попробовать следующие подходы:
* Умножить значение параметра интерполяции (от 0 до 1) на значение скорости.  Например,  transform.position = Vector3.Lerp(transform.position, target.position, speed * Time.deltaTime) .  Так процесс будет идти быстрее, когда скорость увеличивается. 
* Сделать время выполнения Lerp переменной, а не постоянной. Это сократит время, необходимое объекту для перемещения от начала до конца, что является другим способом сказать «увеличивает скорость». 
* Не использовать Lerp, а установить скорость объекта. Тогда физический движок Unity позаботится об этом.