Réponse 1:

1. Objectif ou quelle classe d'inclinaison de machine résout-il?

2. Mécanisme d'apprentissage de l'algorithme

Bayes naïfs

:

Régression logistique:

3. Hypothèses du modèle

Bayes naïfs:

Régression logistique:

4. Limitations du modèle

Bayes naïfs:

Régression logistique:

5. Approche à suivre pour améliorer les résultats

Bayes naïfs:

Régression logistique:


Réponse 2:

Excellente réponse de Brendan! Permettez-moi d'ajouter une différence intéressante entre Naive Bayes et la régression logistique. Par souci de simplicité, choisissons un scénario comme la classification de documents où les documents sont représentés par d, les termes (caractéristiques) par t et les classes par c.

Vous pouvez supposer le même modèle génératif pour les baies naïves et la régression logistique dans laquelle, vous choisissez une classe avec une certaine probabilité, choisissez une longueur de document à partir d'une certaine distribution, puis lancez simplement un dé à n côtés correspondant à cette classe c pour générer à plusieurs reprises les termes de la document.

La seule différence est que pour l'estimation des paramètres, vous optimiserez la vraisemblance conjointe à Naive Bayes, qui est:

\ product_ {toutes (d, c) paires dans le corpus} P (d, c)

P (d, c) = P (d | c) P (c)

et P (d | c) à son tour est écrit comme proportionnel à \ product_ {t} P (t | c) ^ count (d, t)

En cas de régression logistique, vous allez plutôt estimer les paramètres en optimisant la vraisemblance conditionnelle.

\ product_ {toutes (d, c) paires dans le corpus} P (c | d)

P (c | d) = P (d | c) P (c) / P (d)

où P (d) = \ sum_ {c} P (d | c) P (c)

Il s'avère qu'en raison de ce "facteur de normalisation", P (d), vous ne pouvez plus obtenir l'estimation de vraisemblance maximale des paramètres sous une forme fermée. Cependant, la fonction est convexe et les paramètres peuvent être estimés au moyen d'une méthode de type ascension en gradient.

L'optimisation de la probabilité conditionnelle est également appelée formation discriminatoire et permet de compenser les problèmes liés à l'hypothèse d'indépendance conditionnelle. C'est un exercice intéressant de supposer la création d'une fonction en double dans NB et LR et de voir la différence. Vous constaterez que la fonction objectif LR (vraisemblance conditionnelle) est très insensible à une telle redondance.


Réponse 3:

Naive Bayes est un classifieur génératif, qui modélise la distribution conjointe (X, Y), puis prédit la probabilité postérieure P (y | x) où X est l'ensemble des entrées et Y est l'ensemble des sorties. La régression logistique est un classificateur discriminant, qui modélise directement la probabilité postérieure P (y | x) en apprenant la cartographie entrée-sortie.

Pourquoi Naive Bayes s'appelle-t-il ainsi? Parce qu'il fait l'hypothèse très naïve que les caractéristiques d'entrée sont conditionnellement indépendantes les unes des autres étant donné l'étiquette de sortie. Pourquoi c'est un problème?

Supposons que vous essayez de classer les programmeurs en tant que «développeurs Web» par rapport aux «développeurs non Web». Si vous savez que je suis un développeur Web, le modèle dit que le fait de savoir que je connais HTML ne fournit aucune information quant à savoir si je connais CSS. La connaissance de ces langages peut être indépendante les uns des autres, mais étant donné la connaissance du développement web, ils ne sont pas conditionnellement indépendants. Et c'est pourquoi c'est naïf.

Naive Bayes est essentiellement «comptage» à partir d'une distribution conjointe. Une fois que vous connaissez la distribution conjointe, vous pouvez utiliser la règle de Bayes pour calculer la valeur postérieure. Si vous deviez effectuer une classification binaire, la décision de choisir entre les étiquettes 1/0 serait basée sur la probabilité du journal

Lnb(x)L_{nb}(x)

: Si la valeur est positive, l'étiquette est 1, sinon c'est 0.

Lnb(x)=logΠiP(xiy=1)P(y=1)ΠiP(xiy=0)P(y=0)L_{nb}(x) = log \frac{\Pi_{i} P(x_i|y=1)P(y=1)}{\Pi_{i} P(x_i|y=0)P(y=0)}

D'un autre côté, la régression logistique prend une valeur réelle et la mappe à une probabilité en utilisant la fonction sigmoïde. Avec une classification binaire, on peut choisir l'étiquette en fonction de la vraisemblance du journal

Llr(x)L_{lr}(x)

: Si la valeur est + ve, sortez l'étiquette positive, sinon choisissez l'étiquette négative (définissez toute étiquette comme positive / négative dans votre modèle)

Llr(x)=i=1nβixi+θL_{lr}(x) = \sum_{i=1}^{n} \beta_i x_i + \theta

où le modèle dépend des paramètres

[β,θ][\beta,\theta]

La régression logistique devrait surpasser Naive Bayes à mesure que vous fournissez plus de données. Cependant, le classifieur Naive Bayes prend beaucoup moins d'exemples pour atteindre son erreur asymptotique (l'erreur lorsque vous ne vous souciez pas si l'hypothèse fournit un bon étiquetage, c'est-à-dire avec un bruit arbitraire).

Une très bonne explication de ces classificateurs est fournie dans l'article http: //ai.stanford.edu/~ang/pape ...


Réponse 4:

La régression logistique mesure la relation entre la variable dépendante catégorielle et une ou plusieurs variables indépendantes en estimant les probabilités à l'aide d'une fonction logistique, qui est la distribution logistique cumulative. Ainsi, il traite le même ensemble de problèmes que la régression probit en utilisant des techniques similaires, ces dernières utilisant à la place une courbe de distribution normale cumulative. De manière équivalente, dans les interprétations des variables latentes de ces deux méthodes, la première suppose une distribution logistique standard des erreurs et la seconde une distribution normale standard des erreurs.

Bien que je ne sois pas sûr de Naive Bayes, mais vous pouvez consulter certains tutoriels de DeZyre, ils auraient une explication détaillée de la régression logistique, de la régression linéaire, de Naive Bayes et d'autres algorithmes d'apprentissage automatique.

Tutoriel d'apprentissage automatique: régression logistique

Tutoriel d'apprentissage automatique: régression linéaire

https://www.dezyre.com/tutorial