Члены многочлена разбивают на группы, у каждой выносят свой общий множитель, и в скобках получается одно и то же выражение — его выносят:
3mx + 3my + 5nx + 5ny = 3m(x + y) + 5n(x + y) = (x + y)(3m + 5n).
Если в скобках получились противоположные выражения, вынеси из одной группы множитель со знаком минус: ax - ay - 4x + 4y = a(x - y) - 4(x - y) = (x - y)(a - 4).
Группировку сочетают с формулами: x³ + x² - 8 - 4x = (x³ - 8) + (x² - 4x) — не то; лучше x²(x + 1) - 4(x + 1)… — подбирай группы так, чтобы появился общий множитель: x³ - 8 + x² - 4 = (x - 2)(x² + 2x + 4) + (x - 2)(x + 2) = (x - 2)(x² + 3x + 6). Не всякая группировка приводит к цели — пробуй разные.