Проблема решена. Дело было в следующем: в первом случае использовался конвертер usb-2-com от infinity-box, который собран на FTDI и телефон не прошивался, при использовании конвертера usb-2-com на микросхеме PROLIFIC телефон прошился (оттестировано на 10 штуках).

Потом разобрался и с FTDI, нужно чтобы latency timer был 1, а у меня был 16 (при этом телефон не прошивался), хотя всегда после установки драйверов ставлю на 1, видимо пропустил.