90% перепутаны фазы с Холлами и 10% проблема с контроллером.
Проверьте, не пропадает ли под нагрузкой напряжение питания холлов, +5 вольт на красном проводке...
И попробуйте подобрать такое сочетание сигналов с холлов, при котором этот эффект самый минимальный или его нет вообще. Фазы не трогайте, если колесо крутится в нужном направлении.
И обозначьте четко модель контроллера, возможно в соседних разделах по нему найдется информация.