Pourquoi la « Précision » Échoue pour les Modèles d'Uplift (et Quoi Utiliser à la Place)

En matière de modélisation d'uplift, les métriques de performance traditionnelles couramment utilisées pour d'autres tâches d'apprentissage automatique peuvent s'avérer insuffisantes.

Les algorithmes d'apprentissage automatique standard / cas d'usage apprennent sur les données d'entraînement, prédisent la cible sur les données de test et la comparent à la vérité terrain.

Cependant, dans la modélisation d'uplift, le concept de vérité terrain devient insaisissable car nous ne pouvons pas observer simultanément l'impact d'un traitement et d'une absence de traitement sur un individu.

Comment choisir l'ensemble de données de validation ?

Le choix des données pour entraîner et tester un modèle d'uplift dépend des informations disponibles et du contexte spécifique.

Les modèles d'uplift sont couramment utilisés pour les campagnes marketing. Illustrons comment les données de validation sont choisies sous cet angle.

Si nous avons une seule campagne, nous pouvons diviser les clients de cette campagne en ensembles d'entraînement et de validation.

Cependant, si plusieurs campagnes sont disponibles, nous pouvons utiliser certaines campagnes pour entraîner le modèle et en réserver d'autres pour la validation. Cette stratégie permet au modèle d'apprendre à partir d'un éventail plus large de scénarios et améliore potentiellement ses capacités de généralisation.

Sans ces composants essentiels, capturer précisément l'uplift devient difficile.

Les principales approches

Il existe deux principales façons d'évaluer la performance d'un modèle d'uplift : le Gain Cumulé et le Qini. Explorons-les :

Gain Cumulé :

Le gain cumulé illustre le taux de réponse incrémental ou le résultat obtenu en ciblant un pourcentage spécifique de la population.

Pour calculer le gain cumulé, les individus sont classés en fonction de leurs scores d'uplift, et la liste triée est divisée en une série de déciles ou de groupes de percentiles de taille égale. Le gain cumulé est ensuite calculé en additionnant les résultats ou les réponses des individus au sein de chaque groupe.

N : nombre de clients pour les groupes de contrôle (C) et de traitement (T) pour les premiers p% des clients

Y : Somme de notre uplift dans une métrique que nous avons choisie pour les groupes de contrôle (C) et de traitement (T) pour les premiers p% des clients

Par exemple, le CG à 20% de la population ciblée correspond au gain incrémental total si nous traitons uniquement les instances avec les 20% scores les plus élevés.

Dans l'exemple fourni ci-dessous, nous observons que le ciblage des 20% supérieurs de clients avec les scores les plus élevés génère un gain cumulé de 0,019.

Une courbe plus prononcée indique un meilleur modèle, car elle montre qu'une proportion plus élevée d'individus avec l'uplift prédit le plus élevé est ciblée.

Coefficient Qini :

Le coefficient Qini fonctionne sur la même idée que le Gain Cumulé, avec une distinction clé.

La formule pour le calculer :

C'est excellent, mais comment allons-nous choisir entre différents modèles ? Se fier uniquement à ces courbes pour choisir entre différents modèles pourrait ne pas être l'approche la plus axée sur les données.

Les métriques de qualité

Il existe trois métriques les plus utiles qui peuvent nous aider et toutes sont applicables aux approches Qini et Gain Cumulé.

Aire sous l'Uplift (AUC-U) :

Similaire à l'aire sous la courbe ROC (AUC-ROC) dans la classification traditionnelle, l'AUC-U mesure la performance globale d'un modèle d'uplift. Elle calcule l'aire sous la courbe d'uplift / Qini, qui représente l'uplift cumulé le long des individus triés par les prédictions du modèle d'uplift.

Uplift@K :

Uplift@K se concentre sur l'identification des K% supérieurs de la population avec l'uplift prédit le plus élevé. Elle mesure la proportion d'individus véritablement réactifs au sein de ce groupe sélectionné. Une valeur uplift@K plus élevée indique un meilleur modèle pour cibler les bons individus.

Dans l'exemple ci-dessous, Uplift@0,2 pour le premier modèle est d'environ 0,16 et pour le second modèle est de 0,19, et le choix du meilleur modèle est évident.

Quand cette métrique peut-elle aider ?

Uplift max :

Uplift max fait référence à l'uplift maximal atteint par le modèle. Il représente la différence entre les groupes traités et de contrôle avec les scores d'uplift les plus élevés.

Conclusion

Nous avons constaté que les métriques traditionnelles de classification et de régression peuvent ne pas mesurer adéquatement l'efficacité des modèles d'uplift.

Pour surmonter cela, deux approches principales, CG et Qini, offrent des métriques précieuses pour l'évaluation.

Il est crucial d'expérimenter continuellement avec différentes variations et de trouver les métriques qui s'alignent le mieux avec vos objectifs. En explorant et en affinant votre approche, vous pouvez mesurer efficacement l'impact des modèles d'uplift et optimiser leur performance.

\n

\