Comment puis-je faire la différence entre l'algorithme EM et le MLE?


Réponse 1:

L'algorithme de maximisation des attentes (EM) tente de trouver une estimation du maximum de vraisemblance (MLE) pour les paramètres d'un modèle à variables latentes. Les paramètres ne sont pas les variables latentes, elles sont marginalisées dans le processus. Bien que l'EM ne soit pas garanti de converger vers le maximum global, il est garanti de converger vers un maximum et d'améliorer la probabilité du modèle à chaque étape. Un exemple typique est l'algorithme Baum-Welch, utilisé pour ajuster les modèles d'espace d'états.


Réponse 2:

J'étudie ce concept maintenant et j'espère que ma réponse est correcte mais j'aimerais que les commentaires s'améliorent aussi.

Donc, à mon sens, le MLE est un moyen d'estimer la fonction de vraisemblance sans prendre en considération les probabilités a priori. En d'autres termes, si nous lançons un dé pour obtenir un 5, MLE attribuera le score le plus élevé à une distribution (appelons-la la distribution Batman) qui a une probabilité de 1 sur la sortie 3 et de 0 sur les autres (ce qui est contre -intuitif)

Cependant, un algorithme EM prendra en considération la connaissance a priori que la probabilité d'un 5 sur un dé juste est 1/6. Par conséquent, cela sera pris en compte lors de la création de l'étape E de l'algorithme EM. En réalité, il existe différentes manières d'y parvenir, à savoir par le biais de prieurs bayésiens, de modèles de Markov, etc.

Si quelqu'un trouve un défaut dans ma compréhension, veuillez suggérer une modification.


Réponse 3:

MLE fournit la fonction objectif qui doit être optimisée pour les données données.

L'optimisation elle-même peut être effectuée de plusieurs manières différentes. EM (Expectation Maximization) est l'un des moyens d'optimiser, tous les autres types d'optimisations peuvent également être utilisés.

En bref MLE Définit l'objectif d'optimisation tandis qu'EM le résout de manière itérative.