Ésta es una de ésas situaciones en las que me he visto más de una vez en la necesidad de, a la hora de editar entradas o productos en bulk, es decir con el editor de lotes, no sólo cambiar la asignación de categorías masivamente, también quitar a saco una categoría: Y esto, no lo puedes hacer con el editor de lotes nativo de WordPress.
En algunos casos lo había acabado haciendo manualmente como un burro, o bien con otro tipo de herramienta demasiado potente y compleja para la necesidad tán básica que tenía.
A veces había probado a incluso volver a marcar y desmarcar la categoría, pero es inutil, este formulario de edición masiva que trae WordPress de serie es sólo aditivo, no sustractivo.
Que esto también suele pasar mucho en WordPress, para una necesidad de funcionalidad concreta la que se puede llegar a liar… no es dificil caer en la trampa del «overengineering» y alejarnos del paradigma KISS (Keep it simple, stupid).

He encontrado un plugin muy bueno que, simplemente al activarlo, bajo los metaboxes del bulk editor de términos de taxonomía y categorías, añade un nuevo checkbox que activa la funcionalidad de elliminar. Así de fácil, así de sencillo.
Apúntatelo para la próxima vez que necesites eliminar categorías de posts o productos masivamente.
UPDATE: Pues como soy gilipó, no he sabido hacer ésto, pero desde WordPress 6.7 ya no es necesaria esta feature, tal como aclaran los autores del plugin: