Дело может быть в его фрукте. Возможно, он имеет какие-то серьезные слабости (ну кроме морской воды) и во время битвы это как-то проявляется/противники легко догадываются. Да и это вполне может быть связано с толпой. К примеру, из разряда совсем фантастики, у него фрукт особого дракона который может фокусироваться только на драке с одним противником (это я совсем утрирую, но, надеюсь, направление мысли понятно).