C’est ce que j’ai lu.
Là où elle est problématique à mon avis, c’est dans les réactions qu’elle suscite. Certains gros comptes Zet la partagent triomphalement, en mode “haha on les a bien niqué ces sales Zem”. Et des comptes proches des Zem la critiquent.
J’ai lu beaucoup de critiques, parfois justifiées, parfois condescendantes, où on a frôlé le “tu ferais mieux de rester à la cuisine, la recherche c’est fait par et pour les vrais chercheurs”, de la part de gens qui n’avaient pas fini leur thèse. Des gens qui savent ce qu’on doit faire dans la vraie recherche de la vraie vie mais qui n’ont rien publié. Paie ton Gatekeeping.
La recherche je connais. j’ai fini ma thèse en 2016, et j’ai un track record pas dégueulasse. mais c’est pas le sujet.
Sur certaines critiques
J’ai lu des arguments plus ou moins claqués contre la Vidéo de Pauline. Voici un florilège.
(NB : titre mis à jour le 26/09/2022 à 19:06. le titre original était « sur les critiques », mais il est évident que cet article ne traite pas de toutes les critiques, mais seulement de celles que j’ai trouvé injustes et contre lesquelles on pouvait argumenter)
Procès d’intention
Premièrement, le procès d’intention : certains estiment qu’elle a essayé de prouver que les Zem harcelaient. C’est faux. Elle a cherché à savoir si c’était vrai ou pas, ou comme elle dit dans la vidéo “essayé de confronter ses croyances aux données”. Elle a même défini très clairement son endpoint (le harcèlement) avec une base légale relue et approuvée par une personne de métier. Laissons lui le bénéfice de l”honnêteté intellectuelle. Je ne vois pas de raison a priori de ne pas la croire, sauf à ne pas vouloir l’écouter.
Dans le genre procès d’intention on a aussi “oui ils ont mis les références des packages R en (nom, auteur) pour faire scientifique parce que en vrai ça se fait pas dans la recherche ». En fait ça se fait presque systématiquement, pour que le lecteur puisse facilement retrouver le package, surtout si celui-ci n’est pas sur le CRAN mais sur un autre dépôt, comme bioconductor ou Github par exemple. ici, un paragraphe d’un de mes articles
Donc non c’est pas pour faire style. C’est pour la reproductibilité.
Appartenance des groupes
Des critiques assez amusantes sur qui est tagué ZET ou pas sont apparues sur Twitter. La vidéo essaie de caractériser les interactions entre deux groupes : ZEM et certains membres de la sphère Zet. Ces membres spécifiques de la sphère Zet sont assignés au groupe ZET pour l’analyse. ça ne veut pas dire que les comptes qui n’appartiennent pas à ce groupe ne sont pas zététiciens. Cela signifie simplement qu’ils n’appartiennent pas au groupe de personnes concernées par l’échange analysé. On peut critiquer le choix des comptes intégrés, mais par pitié ce choix est justifié dès l’introduction. Les groupes auraient pu s’appeler A et B, ou Tic et Tac.
La p-value… parfois
Une critique que j’ai beaucoup aimée et qui sort de nulle part est la nécessité de faire un test de Fischer pour avoir une p-value significative sur la proportion d’articles mono-ciblés sur Mendax d’un côté et Aberkane de l’autre, ou quelque chose comme ça. C’est une critique approximative pour plusieurs raisons. Déjà, vu le faible effectif, le test ne peut pas être significatif. Ça n’a même aucun sens de chercher à faire un test. Deuxièmement, en tant que stateux, si je veux bricoler un truc pour que ça donne une p-value significative c’est facile : je prends le ratio de mentions d’une personne sur les mentions totales sur une période et je suis à peu près sûr d’avoir un test significatif vu que les effectifs sont grands et les tailles d’effet assez large. Donc pour grosso modo la même info on a une p-value ou pas. Ne donnons pas autant de poids à la p-value… Si on comparait la proportion d’articles consacrés à TCD de la part des Zem d’une année sur l’autre on n’aurait probablement pas un truc significatif non plus. Pourtant, peut-on affirmer avec assez de prudence que la part d’articles consacrés à TCD augmente ? Je pense que oui. Justifier le rejet de cette observation par un test statistique inadéquat révèle au mieux une légère malhonnêteté intellectuelle, au pire une incompétence un peu moins légère.
Modèle linguistique
Ma critique préférée porte sur le choix du modèle utilisé pour l’analyse de sentiment. La critique la plus répandue c’est “lol c’est entrainé sur le corpus allociné donc ça marche pas pour les tweets”. Ce commentaire démontre une méconnaissance fondamentale du deep learning et du NLP. Camembert (et la version Distillcamembert associée) est un modèle linguistique basé sur RoBERTa, et entraîné sur un corpus multilingue appelé OSCAR. l’objectif d’apprentissage de Camembert est de faire du masking, c’est-à-dire de pouvoir prédire un mot retiré d’un texte. Par exemple, si on écrit “la Seine est un <mask>”, Camembert va deviner que le mot masqué est “fleuve”. Il utilise une architecture tranformers avec des couches d’attention. En fait, Camembert va construire une compréhension sémantique du français qui va être représentée dans les poids des couches cachées.
Pour entraîner la version “analyse de sentiment” de Camembert, on prend le modèle entraîné qui a appris à comprendre le français, on retire la dernière couche qui sert à faire le masking, et on rajoute une couche qui va apprendre à classer les commentaires allocine. Donc lors de l’entraînement, le texte passe dans les couches de camembert, est transformé pour produire un vecteur ou tenseur qui contient une représentation du sens de la phrase. Ensuite, c’est sur ce vecteur ou tenseur que la dernière couche va apprendre à associer un sentiment.
Le corpus allociné est d’ailleurs un corpus de référence pour ce type de tâches, curé, et qui a ceci de précis qu’à chaque texte est associé une note de 1 à 5 qui correspond à l’intention de l’auteur du commentaire. On a donc un texte associé à une intention de notation par chaque auteur de commentaire, ce qui est moins biaisé qu’un corpus de tweet annoté par 5 personnes pour entraîner l’IA. Car à ce moment l’entièreté de la classification dépend du ressenti personnel de ces 5 personnes. Le fait qu’une machine note les tweets en étant agnostique de son émetteur est plutôt une bonne garantie de neutralité de la part de l’annotateur (donc ici, Camembert)
Donc non seulement le modèle n’est pas sur-spécifiquement adapté aux commentaires de film, mais il est structurellement capable de comprendre beaucoup de choses. Et non, ce n’est pas un simple mapping de mots et de sentiments comme on en faisait il y a une dizaine d’années. Dans le contexte de Camembert, un même mot n’aura pas la même représentation selon son contexte d’utilisation, et selon sa polysémie. Par exemple, le mot “table” sera dans l’espace vectoriel des meubles si présent dans un texte parlant d’une pièce de la maison, mais sera proche des tableaux, graphiques et autres dans le contexte d’un texte qui parle de documents.
Donc oui, c’est un modèle très complexe. Tellement complexe en fait que ceux qui critiquent Pauline pour avoir dit que le modèle était complexe le comprennent mal. Le modèle performe de façon raisonnablement correcte pour pouvoir en tirer de l’information, et les limitations sont connues, cf ici https://www.aclweb.org/anthology/W17-5410.pdf et ici https://github.com/TheophileBlard/french-sentiment-analysis-with-bert
Donc Camembert entraîné sur AlloCiné ben… c’est pas très loin des standards actuels. Ce n’est pas parfait, mais il n’existe aucun modèle parfait qui puisse traiter des milliers de tweets. Si vous voulez savoir comme je sais ça, j’ai eu une période freelance entre 2 postdocs où j’ai bossé comme consultant ML pour des boîtes privées. Et vraiment, ne pas se rendre compte de l’avancé qu’a été BERT pour le NLP et le résumer à un dico de sentiments en dit long sur sa connaissance du sujet.
Autre point, pour la vidéo; la négativité et la positivité sont calculées en donnant beaucoup de poids aux valeurs extrêmes, qui laissent peu de place à l’ambiguïté. Une grande part de l’incertitude est affectée au neutre. On a donc un biais vers la neutralité qui est favorable aux locuteurs dont l’activité est analysée.
A côté de cela, il est reproché à Pauline aussi de ne pas avoir mis de github ou de notebook à disposition. Pour pouvoir reproduire les analyses rapidement. Au vue des critiques approximatives de l’IA employée je suggère de passer quelque temps à lire la littérature pour comprendre les modèles que vous critiquez. Il y a un peu d’algèbre mais vous devriez vous en sortir.
J’ai lu des critiques farfelues sur l’utilisation du Louvain, qui est très classique en partition de graph, ou de l’algo de Veech, qui est un simple algo probabiliste, qui est un de ceux qui laissent le moins de place à l’interprétation quand à la significativité des co-occurrences. En plus, cet algo n’est utilisé que pour identifier des associations de mots. Je ne vois pas en quoi ses potentielles faiblesses impacteraient les conclusions de la vidéo.
Un article de recherche qui n’est pas un article de recherche
Dans la condescendance des critiques, quelque chose m’a frappé. Il est beaucoup reproché que la vidéo ne soit pas un bon article de recherche. ça tombe bien, ce n’est pas un article de recherche. C’est une vidéo, qui part d’une question, qui propose une méthodologie, et essaie de construire quelque chose là dessus. Si la méthodologie n’est pas irréprochable, elle ne remet pas en cause le fond de la vidéo, la diffusion de messages négatifs, les effets de communauté, etc. Cela n’enlève en rien la possibilité de réfléchir sur ses propres comportements en ligne.
Miz Pauline est très prudente dans ses conclusions et n’accuse pas les Zem de harcèlement, ils n’ont donc pas besoin de s’en défendre. Elle ne remet pas non plus en cause leur légitimité. Il n’y a donc pas besoin d’insister sur la légitimité des critiques pour justifier le harcèlement dont on n’est pas accusé.
La vidéo essaie d’estimer si il y a des comportements pouvant tomber sous la définition légale du harcèlement, peu importe les raisons.
Il me semble qu’une grande part des oppositions que je peux lire sur la base légale sont “oui mais quand même ils l’ont bien cherché donc c’est pas du harcèlement”. C’est une justification bien mince il me semble. Je ne suis pas juriste, mais ceux que j’ai contactés ne voient pas de problème dans la définition donnée par Pauline. Le harcèlement est un délit. Essayer de justifier un délit au prétexte que la victime l’aurait bien cherché, n’est pas un bon argument.
Sur le fond
Ce qui me frappe, c’est qu’on observe la même réactance que lorsqu’on a sorti la méta-analyse sur l’hydroxychloroquine :
- rejet a priori des conclusions
- critique sur l’intégrité
- critique sur l’inexpérience
- critique sur la méthodo plus ou moins pertinente
- reprise des critiques de la méthodo par des gens qui n’ont pas vu la vidéo mais seulement la critique
- absence totale de remise en question
Et de là où j’observe les échanges, avec l’expérience que j’ai eu des papiers Covid, ça ressemble vachement à des gens qui rejettent d’abord la conclusion d’une étude et cherchent des faiblesses méthodologiques ensuite, plutôt que de se demander quelle part de la conclusion peut-être maintenue malgré les faiblesses méthodologiques. Remarquez, il y a une certaine cohérence : poster un com/thread critiquant la vidéo à 2-3 endroits, c’est de la critique. Aller poster le même com/thread a 10 endroits différents en frisant l’insulte, c’est déjà un peu moins de la critique et un peu plus du harcèlement. Même si la critique est juste. Autrement dit, le premier réflexe est d’emblée de rejeter la possibilité que l’analyse ne soit pas si fausse que ça et qu’on puisse avoir un comportement problématique. Est-ce que le réflexe aurait été le même et la critique aussi acerbe si les conclusions de la vidéo avaient été un harcèlement de Mendax sur les Zem ? Il faut s’interroger si on rejette la vidéo réellement du fait de la méthodo ou parce que nous n’aimons pas ses conclusions.
Il ne faut pas se leurrer : on a tous eu à un moment où un autre un comportement problématique sur Twitter, même si on pensait être légitime. J’ai parfois eu des comportements un peu excessifs pendant la période Covid où j’ai ferraillé avec les conspis. Je me rappelle un commentaire que j’avais envoyé à Stalec (je ne donne volontairement pas son nouveau pseudo ici) qui était un peu sévère et à la suite duquel il m’avait bloqué. Même si j’avais raison dans ce message, dans lequel je lui disais que le complotisme avait tué des gens, cela s’inscrivait dans un contexte plus large et constituait clairement du harcèlement.
Enfin, un dernier point qui vraiment m’intrigue. Les Zem ont tendance à dénoncer le scientisme des Zets, leur sur-rationalisme. Dans le cas de la vidéo de Pauline, certains membres de Zem (pas tous) discréditent l’ensemble de l’analyse fournie par la vidéo en soulignant que ce n’est pas de la science ™. Je n’ai pas une grande expérience de chercheur, mais l’expérience parfaite, le design parfait, n’existent pas, sauf dans des cas où on peut se permettre de faire du Taguchi, c’est-à-dire vraiment pas souvent. La recherche, c’est considérer une production avec les forces et les faiblesses de sa méthodologie, et évaluer quelle quantité d’information et de certitude on peut tirer du travail présenté. Ici clairement, certains points méthodologiques pourraient être améliorés. Pas forcément ceux qu’on pense d’ailleurs. Il est peut être plus constructif de se demander si on retrouverait des résultats similaires avec une méthodologie parfaite et d’essayer de produire une telle analyse que d’emblée rejeter la possibilité qu”on puisse avoir un comportement problématique sur Twitter.
Finalement
Donc, si certains méthodologistes/chercheurs ont des avis sur ce qui peut être amélioré et le formulent de façon constructive, mettez-le en commentaire car ça promet d’être hyper intéressant. Pour les autres, sachez que je valide les commentaires à la main, et que je ne validerai aucun commentaire agressif, injurieux, ou condescendant.
Bonjour, j’ai un « sollicited advice » sur ce qui peut être amélioré :
– partager vraiment le code et les données (tweets déshydratés), car la liste des packages utilisés ne suffit pas à la reproductibilité ; certes ça demande du travail (quoique, le code existe déjà en principe, et sans doute déjà sur un repo Github…), vous allez peut-être me dire que c’est du double standard, qu’on demande ça à MP mais pas aux autres : c’est faux, je bosse dans la science ouverte donc je suis très constant sur ce point (et je partage mes propres résultats sur mon Github)
– ce n’est pas parce que Distill Camembert est à l’état de l’art que ça marche bien sur le corpus et la question précises : en particulier, il y a des résultats étonnants (beaucoup de négativité intra-ZEM, le Fallacytron dénoté comme négatif…) qui jettent le doute sur la pertinence de l’algo *dans ce contexte* et nécessitent une discussion scientifique ouverte
– ne pas considérer que toute critique de ce travail est malvenue, ou relève du gatekeeping (« où on a frôlé le “tu ferais mieux de rester à la cuisine, la recherche c’est fait par et pour les vrais chercheurs”, de la part de gens qui n’avaient pas fini leur thèse », est un très mauvais reflet des critiques que j’ai lues et cherche à disqualifier les critiques par un homme de paille)
Merci en tous cas d’avoir ouvert la discussion !
Sur le point du GitHub oui ça manque, mais franchement, il n’y a pas de quoi en tenir rigueur
Les résultats sont étonnants, alors les résultats son faux ? Ou juste, vous manquez de recule pour constater la perception négative de vos propos (ici le groupe « ZEM »). C’est ici que l’on devrait donc essayer d’infirmer ou d’affirmer ces résultats que de les rejeter, car étonnant.
Tu as sûrement lu de bonnes critiques, ce n’est pour ma part pas ce que je retiens. Elles ont beaucoup à charge « négative ».
Forcement de fait les critiques « sérieuse » son noyer dans les critiques « disqualifiante ». C’est aussi le problème de l’approche chez certains « ZEM »
Ca me parait évident, mais quand Enroweb écrit « il y a des résultats étonnants », c’est un euphémisme. Il dit en fait qu’il y a des résultats faux. Le cas Fallacytron est quand même assez clair.
Le deep-learning c’est très bien, quand c’est calibré sur un échantillon représentatif. Pour que l’analyse soit pertinente (et je dirais même, un tant soit peu scientifique), il aurait fallu utiliser une approche semi-supervisée. Ou au moins faire une validation sur un sous-échantillon classifié à la main : c’est la moindre des choses.
Au reste, c’est quand même indicateur d’un gros problème dans la communauté zététique :
1) un groupe dénonce la tendance des zététiciens à ne pas faire correctement la biblio des sujets qu’ils abordent, avoir des méthodes peu scientifiques, et malgré tout ça des conclusions très arrêtées.
2) quelqu’un fait une vidéo sans visiblement avoir fait de biblio du domaine concerné, et en utilisant des méthodes qu’on peut facilement qualifier de pseudo-scientifiques.
Et vous vous retrouvez à applaudir un statistical fishing trip digne de Raoult.
Il ne manquait que les conclusions très arrêtées pour boucler la boucle, et la communauté s’en est largement chargée.
Salut,
Effectivement, j’ai l’impression d’un rejet des résultats pour justifier « la critique ». Là, où Miss Pauline présente une alternative sérieuse. Effectivement, j’ai eu des propos virulents, cela n’empêche pas de me remettre en question et d’essayer d’avoir un affect positif sur Twitter.
Je n’ai pas vu une seule remarque positive, ou de proposer une méthode sérieuse afin de pallier ces critiques.
Quand les antivaxx présenter leur expérience sur le Bluetooth, je leur proposais ma méthode pour faire une expérience « sérieuse » (je ne faisais pas que rejeter là leurs d’un unique « c’est de la merde »)
Quitte à faire de la science, à faire des « critique par les pairs », au temps, bien le faire
ZEM ne sont pas dans la science, car là ont leur donne une vraie arme pour défendre mordicus leurs accusations de harcèlement psychophobe de la TeB.
Tu m’as permis d’ouvrir les yeux sur les critiques du modèle Camembert (quand je dis que les ZEM est la science :/ ) et de me rappeler que les IA révolutionnent le monde de la physique
(https://www.journaldugeek.com/2022/08/09/une-intelligence-artificielle-a-decouvert-des-lois-alternatives-de-la-physique/) et que pour le coup, ce n’est sûrement pas une suite de « if »
Il faut dire que les remarque « fin de partie » de certain grand compte n’ont sûrement pas amélioré les choses.
On est dans le biais de négativité sur Twitter, donc forcement, on va être négatif dans nos propos, mais dans notre vie aussi. Je pense que certaines de ces « détracteurs » sont dans une souffrance alimentée par les RS, par son modèle.
Personnellement, étant dans une grosse démarche de remise en question, la vidéo de miss Pauline m’apporte nombre de nouvelles questions à explorer.
Merci pour cette mise au point constructive
Bonjour,
Etant actuellement hors de twitter, mais étant la membre de ZEM la + expérimentée en stats, je profite de ce billet pour m’exprimer ici.
Une partie des contre critiques que vous faites est légitime. Par exemple, effectivement il est d’usage de citer les packages de R dans les disciplines auxquelles j’ai eu affaire (peut-être pas dans d’autres, d’où la confusion de ceux qui ont répondu ça, qui sont plus en SHS).
Il est aussi juste que le test de p-value n’a pas beaucoup de sens quand « l’échantillon » est en fait l’ensemble exhaustif des articles (pour ceux qui n’ont pas forcément compris avec votre argument : on fait un test de significativité quand on chercher à généraliser un résultat d’un échantillon à une pop puisque l’échantillonnage introduit des effets aléatoires).
Si des personnes ont répondu par des arguments d’autorité sexistes et corporatistes de l’institution scientifique, c’est assez malvenu et clairement ça s’aligne pas avec ce que défend ZEM, où nombre de nos contributeurs n’ont pas fait d’études supérieures. Il est important que les critiques de la vidéo restent sur le fond (qui d’ailleurs n’est pas vraiment imputable à MizPauline, qui ne fait que présenter, avec certainement une volonté de rester aussi factuelle que possible, avec ce qu’elle a comme perspective, de son coté, sur les données).
En ce qui concerne la pertinence d’application des outils d’IA pour l’usage qui en est fait, je ne suis pas assez compétente pour trancher, donc je laisse le disputatio se faire entre personnes qui les utilisent (et apparemment, ce que je vois c’est quand même que cette pertinence ne fait pas consensus, y compris chez des personnes qui ne sont pas du genre à nous donner le bon dieu sans confession e.g. Mushionette).
Sur le fait qu’il y ait des critiques d’emblées, et que ça s’apparenterait au rejet par les antivax, je trouve ça assez gonflé comme argument, car il y a aussi eu des critiques d’emblée, avec les mêmes éléments…. lors des publications de Raoult !! Et là c’était pas de la réactance, c’était bien que la méthodo était bancale.
Et du coup, quelle est l’explication? Réactance ou méthodo trop bancale? On ne peut trancher juste au fait qu’on réagisse de suite, et vraiment le faire, c’est un procès d’intention malvenu, car si jamais on a raison sur le fait qu’il y a trop de bancal, on a, encore heureusement, le droit de se défendre, car même si vous vous trouvez que la vidéo est modérée, elle entache possiblement notre réputation plus qu’elle ne devrait.
Un exemple : là où les pseudos de personnes qui citent énormément Mendax sont masqués, moi j’ai cru que c’était des personnes internes de ZEM et qu’on avait des harceleurs parmi nous. Après deux jours à chercher de qui il s’agit, en fait on réalise que ce n’est pas le cas car il n’y a personne de ZEM qui tague autant Mendax dans la periode…. et Gaël ou moins on ne le cite même pas autant sur le total de l’existence de nos comptes !!! Il va falloir du temps pour identifier les endroits où même nous on fini par croire qu’on harcèle à tort juste à cause de la manière dont les données ont été présentées.
C’est bien de faire ce billet pour apporter un éclairage sur des critiques fautives (dont on tiendra compte si on fait un billet critique de la vidéo), mais il aurait été bien, aussi, du coup, de lister les critiques légitimes que vous avez identifiées, pourquoi ne pas l’avoir fait? Quel est le but du billet, est-ce d’aider chacun à se forger un avis éclairé, ou est-ce de défendre un camp?
Par exemple, que pensez-vous:
– du fait que dans les graphes les gros ronds ne sont dues qu’à parfois une ou deux conversations (!) (et oui !)
– du fait que l’on observe des gros ronds de la part d’un fallacytron qui est un bot rigolo et d’une personne saracastique qui parle assez peu de Mendax (mais qui part surtout en jeux de mots en série un peu partout où c’est possible – donc il suffit que ce soit dans une conv où Mendax a été cité + haut pour que ça « gonfle » sa négativité – car attention s’il est dit que les tags de début de tweet ont été enlevés il semble que ce soit pas le cas pour toutes les données car ça colle pas avec les vérifications manuelles qu’on a faites), ou du coté zet, d’un anonyme qu’on connait nous même pas, qui a juste lui aussi interagit une fois dans la période? (non, ce n’est pas un de nos harceleurs « habituels »).
– du fait que dans le graphe de négativité où il y a les 3 groupes, on distingue très peu de traits bleu allant vers Mendax mais que ce qui est dit c’est que « la personne peut chercher son nom donc c’est quand même un impact » plutôt que « y a quand même pas de harcèlement, les sphères intéragissent ZEM-ZET en intra et très peu en inter (chose dite à plusieurs reprises sur twitter par un des membres ayant fait l’analyse, quand même! Pourquoi c’est pas ça qui est dit dans la vidéo alors que ce résultat est plutôt clair pour le coup – même si dans une période de « shitstorm » il y aurait sans doute plus d’interactions… et en fait ça aurait même pu être le cas car penseur sauvage à sortit 4 vidéos calomnieuses sur nous à cette période, mais on a CHOISI de ne pas réagir pour épargner tout le monde – dont nous- QUITTE A SE LAISSER CALOMNIER… lui-même s’étonne dans un tweet que ça ressorte pas dans les données, d’ailleurs).
– du fait que la manière de critiquer des deux cotés est totalement asymétrique, donc le choix d’analyser les mentions génère forcément un biais sachant que quand du coté ZET les critiques sont émises, c’est toujours sans avoir l’air de cibler ZEM (les militants dans le scepticisme, les sceptiques des sceptiques, les harceleurs qui devraient être de notre camp, et autre surnoms vagues variés + affichage de captures d’écrans « choisies », sans tag), alors que coté ZEM, il y a un effort de précision minimale pour éviter que des zets pas ciblés se sentent ciblés à tort et se sentent mal à cause de ça (ça a été le cas par ex pour JM Abrassard pendant un temps). Une des personnes de l’équipe à indiqué que c’était parce que certains mots amalgamaient trop de choses qui ne correspondaient plus au sujet mais c’est justement toute la subtilité de la méthode de la critique vague, nous empêcher de dénoncer que nous sommes attaqués on nous disant « si vous vous sentez visés c’est que vous avez quelque chose à vous reprocher » alors que bah si on se défend c’est surtout que des personnes commentent sous les posts en disant « ah les méchants ZEM » et que personne ne leur dit que c’est pas ZEM qui est visé (on a même une capture où Mendax répond « il devraient changer la composition de leur écurie » quand qq1 associait un méfait à nous, alors qu’on s’était désolidarisé très explicitement du comportement qu’il dénonçait comme étant un harcèlement qu’il subissait). Bref, moi c’est le plus gros truc qui m’a sauté aux yeux comme biais en voyant la méthodo, mais évidemment que ça ne peut sauter au yeux que de personnes qui sont totalement « dans » les dynamiques : se focaliser sur nos tags, ça ne peut que zapper complètement la manière dont les ZEMs sont attaqués (même si dans la période courte prise en compte, pendant laquelle beaucoup de monde était en vacances, on aurait pas forcément trouvé grand-chose de plus, de toutes manières).
– idem pour les articles, on cite Mendax parfois positivement parfois de manière neutre (ex : je partage une vidéo de Mendax en disant qu’il est touchant dans un article, dans un autre on explique pourquoi il est de gauche!!) et ça je pense que ça a été compté comme « article citant Mendax négativement » puisque le comptage des citations à finalement été automatisé. On est en train de vérifier manuellement mais pour le moment il semble que c’est ça qui a été fait. Ça aussi, on ne peut le voir de suite que si on connait les articles, du coup.
Bref, voilà au moins quelques éléments, ce serait trop long de mettre tout ce qu’on a identifié encore, mais c’est au moins pour donner une compréhension de pourquoi certains biais nos sautent au yeux à nous, et pas forcément aux gens qui sont pas au coeur de ces problèmes.
Je tiens à ajouter qu’il faut se méfier des prior que les personnes ne suivant que Mendax et les zets mainstreams ont sur nous : il y a beaucoup de mensonges qui circulent à notre sujet, et nous, étant bloqués, on peut pas les voir et on peut pas non plus passer notre temps à venir démentir. Une personne nous accuse de l’avoir mise au RSA alors qu’on n’en connaissait même pas l’existence à l’époque où il a quitté twitter, notre première interaction avec lui remonte à 6 mois *après son retour*. De nombreuses personnes qui nous accusent de harcèlement n’ont jamais échangé de manière directe avec nous, en fait. Je pense que je peux compter les conversations que j’ai eu avec Mendax sur les doigts d’une main, il n’y en a eu qu’une seule très longue où j’essayais d’expliquer un point sur l’essentialisation des religions et l’idéalisation des science et où je me suis prise des sarcasmes dans la tête), je n’ai eu qu’une interaction se résumant à 3 messages au total avec Vled, deux avec l’éco sceptique (dont une qu’il utilise beaucoup contre moi mais bon, faut aller voir l’échange pour se rendre compte de ce qui s’est passé et réaliser à quel point il s’agissait d’un gros quiproquo dont je me suis excusée plusieurs fois), une seule interaction avec le chat sceptique (où certes je me moquais de lui, mais bon il avait dit que contrairement à ce que pensent les gens qui font des SHS il y a beaucoup d’analyses qualitatives en stats, car on peut découper le monde entier en catégories et en faire des variables….bon- on peut trouver que c’était gonflé de ma part, mais c’était une moquerie qui découlait quand même d’une énorme quantité de condescendance mal placée de sa part), etc. Bref : y a vraiment un narratif qui donne l’impression qu’on les a poursuivis, nous tous, ou qu’on n’a jamais eu de mot gentil, d’encouragements quand quelque chose était mieux, voir de défense quand ils étaient attaqués injustement… mais c’est le résultat de la manière dont seulement « un coté du ring » à une audience énorme pour rappeler la une fois où untel a été acide avec elle ou lui, quand nous personne vient jamais voir notre version des faits.
Pire, y a même, des gens qui disent être allés voir qui on est, et qui mentent (une fois c’est arrivé je suis allée voir les interactions que j’ai eu avec une personne disant « je suis allée voir j’ai vu la toxicité » et la personne me… remerciait de mon ton dans l’échange qu’on avait eu- ton que j’avais maintenu apaisé malgré d’évidentes provocations… ???).
A un moment, comment on peut s’en sortir pour défendre notre réputation dans un tel contexte?
Vraiment, je sais pas, j’admets que j’ai pu parfois être moqueuse ou en colère, ainsi que d’autres dans ZEM, parfois même on a pu traiter des gens de connards, à force de se faire trainer dans la boue et moquer (pas que via les attaques vagues, d’ailleurs, mais, via les oppressions qu’on subit aussi, les moqueries sur les handicapés, les fous, les kassos, etc, ça a des impacts psychologiques aussi, en fait, mais là ça semble ne pas compter comme harcèlement ??), oui. Mais entre ça et ce dont on est accusés, on est dans un niveau de calomnie assez impressionnant. Si on n’attaque pas en diffamation c’est principalement parce qu’on a pas les moyens financiers, et psychologiques de le faire, mais toute la matière serait là pour le faire.
C’est vraiment injuste, et cette vidéo, elle contribue à une dynamique dangereuse pour l’esprit critique, dangereuse en termes de rapport à la critique, dangereuse en termes d’acharnement sur nous, et il convient vraiment de remettre ça en question, à un moment.
Erratum: j’aurais du dire « une des membres de ZEM les plus qualifiées », d’autres le sont aussi j’ai écris trop vite.
+ NB j’ai insisté sur les critiques que je pense pas évidentes à deviner pour les personnes pas familières de la manière dont les deux « cotés du ring » s’opposent, mais il y a aussi des critiques que tout statisticien devrait pouvoir faire de lui-même (par ex sur le fait de choisir de parler de fréquences ou d’effectif selon ce qui est regardé dans les comparaisons, alors que changer l’indicateur changerait l’interprétation – et d’autres critiques encore qui ont été faites déjà ici et là).
Mince : correctif deux, apparemment je me suis mélangé les pinceaux dans les vérifications, c’est bien des membres de ZEM qui citent beaucoup. Dont moi, du coup. Parce que… j’ai participé à des conversations où Mendax était tagué (par d’autres) en amont mais dont il n’était pas le sujet.
Et il convient de noter que je suis bloquée, donc ça fait bien longtemps que Mendax n’a plus de notif de ma part lorsqu’il est tagué : ces données de tags ne sont donc informatives de… rien du tout, en fait.
Le fait qu’un compte te bloque ne veut pas dire qu’il ne verra pas tes mentions in-fine et qu’il n’aura pas une notification tout de même.
Car si effectivement il n’aura pas de notification au moment immédiat de ton tweet ni concernant ton tweet directement, c’est vite oublier que Twitter dispose de fonctionnalités de retweet, citation de tweet, et d’incorporation de médias, dont des screenshots.
Donc si un compte Twitter A bloque un compte Twitter B, le compte Twitter B ne peut pas se dire « je peux me permettre de le mentionner A allègrement car de toute façon il n’est pas notifié donc cela n’a aucune conséquence sur celui qui est derrière le compte Twitter A ».
Car tôt ou tard A verra la mention, indirectement certes, mais il la verra quand même… par l’intermédiaire d’autres comptes qu’il suit et qu’il n’a pas bloqué, et dans de nombreux cas il sera également notifié car un certains nombre de ces comptes qui relaient les tweets du compte bloqué le mentionneront à leur tour.
Donc invalider la pertinence d’utiliser les mentions comme donnée sous prétexte que nombre de personnes mentionnées ont bloqué les comptes des mentionneurs, c’est clairement pas un argument valable sur l’outil de réseau social qu’est Twitter étant donné ses fonctionnalités et les manières dont elles sont utilisables et utilisées.
« C’est vraiment injuste, et cette vidéo, elle contribue à une dynamique dangereuse pour l’esprit critique, dangereuse en termes de rapport à la critique, dangereuse en termes d’acharnement sur nous, et il convient vraiment de remettre ça en question, à un moment. »
Je n’en peux plus de cet argument de « contribue à une dynamique « nanani…
C’est le même argument utilisé pour attaquer et stigmatiser toute personne de gauche qui veut traiter un sujet qui est déjà traité par l’extrême droite. Critiquer le fascisme isoamiste qui a tué des centaines de personnes en France et assassiné des minorités LGBT à Orlando et en Norvège, des juifs et des mécréants c’est « suivre l’agenda de l’extrême droite »
Au bout d’un moment si toute analyse, même bienveillante, structurée et légitime comme ladite vidéo (bcp moins violente que vos articles sur mendax) = « participation a une dynamique dangereuse » , alors déclarons le débat clos et les échanges , surtout constructifs et intelligents comme ceux de l’étude , interdits !
Je n’en peux plus de vos attaques, censures et accusations de fascisme a tous les coins de rue. Je suis militant de gauche , engagé dans les combats politiques anticapitalistes et queer, j’agis sur le terrain en asso, je suis fier d’être « dans le camp du bien » face au fascisme , et je ne supporte plus vos leçons et vos analyses méta méta méta critiques ou tout et n’importe quoi devient problématique pour peu que l’on creuse assez .
La TEB a DEJA pris en compte certaines critiques de la zem quand elles étaient légitimes . Mais les figures toxiques du mouvement continuent dans leur acharnement a sous entendre sans cesse que mendax est un facho en sous marin , ce qui est dégradant et parfaitement dégueulasse , vous le savez très bien.
Bonjour, et merci pour ton taff en général !
Des questions concernant les NLP et les avatars utilisés ici en particulier :
– Comment s’en sortent t’il face à des « procédés stylistiques » comme l’ironie ou le sarcasme ?
Dans le corpus d’apprentissage (AlloCiné) on peut imaginer qu’il n’y en a pas la même fréquence (certainement moins) que sur un corpus de « conversations » (type twitter)…
Par extension :
– Comment s’en sortent t’il face à la ponctuation (ex: multiples !!!, point d’ironie ⸮ …)
– Comment s’en sortent t’il face à des variantes orthographiques/typographiques ? (ex: acronymes, abréviation, l33t, …)
– Comment s’en sortent t’il face à des « pictogrammes » ? (ex: 💕📈)
Et en gros ces modèles sont t’ils (déjà) capables de prendre en compte le « sous-texte » ?
Merci
C’est toujours compliqué d’estimer la performance des modèles sur l’ironie. Beaucoup d’humains ne la perçoivent pas. Dès lors on peut se demander si un message ironique ne participe pas malgré tout au harcèlement. Je ne sais pas.
Pour les 3 autres points, les modèles BERT comprennent les fautes de frappe (c’est pour ça que Google vous fait une suggestion en cas de faute de frappe).
Pour la ponctuation, elle fait partie des corpus d’entraînement et est donc « comprise ».
Les caractères spéciaux peuvent être gérés de 2 manières : en utilisant un corpus d’entraînement contenant ces caractères spéciaux ou en nettoyant le texte avant de le donner à l’IA dans le cas contraire
Bien vu, l’ironie comporte un risque non négligeable de « mauvaise réception » #SheldonCooper
Si le modèle était capable de la qualifier il faudrait alors faire un choix +/- arbitraire pour « pondérer » ces messages…
Merci
Il y a un moyen relativement facile d’en avoir le coeur net : prendre un sous-échantillon, le faire classifier à la main, et faire une validation.
Ca me parait être une chose suffisamment classique pour qualifier tout travail qui entends généraliser un modèle à des échantillons différents de ceux d’entrainement sans le faire de « pseudo-science ».
Pour ma part, j’ai deux grosses réserves sur la méthodologie employée :
La définition retenue du harcèlement est la définition juridique, dont une des caractéristiques est l’intention. L’autrice annonce d’emblée qu’elle n’étudie pas l’intention. Dès lors, il est impossible que sa méthode puisse répondre à la question de départ. J’ai bien conscience qu’il est très délicat d’inférer les intentions dans une analyse quantitative, mais alors soit on veut étudier s’il y a harcèlement, et l’approche quantitative est inadaptée, soit on tient à utiliser ces outils, mais alors il faut reformuler la question de départ (et accepter de ne pas parler de harcèlement).
La deuxième critique porte sur la constitution du corpus. L’autrice inclut dans les mots-clés, non seulement le pseudo Acermandax, mais aussi les multiples variations de ce nom utilisées pour parler de lui. Ce choix me semble parfaitement judicieux, pour ne pas exclure du corpus des tweets pertinents. Mais pourquoi ne pas faire de même pour les membres de ZEM ?
Bonjour, la définition juridique précise que le harcèlement peut être caractérisé par l’intention OU l’effet. Pauline prend le parti de ne pas préjuger de l’intention. Le harcèlement peut être évalué à partir du seul effet.
Si un juriste/avocat veut apporter un éclairage sur ce point, c’est avec plaisir
concernant l’autre point je ne peux vous répondre. Je n’ai pas constitué ce Corpus. Je je sais pas par qu’elles surnoms mendax appelle potentiellement les zem
@Matthieu Les termes qu’il aurait fallu inclure pour conserver la symétrie dans l’analyse sont ici (sans doute non exhaustifs) : https://twitter.com/pierre_jacquel2/status/1573688971015561216
https://www.legifrance.gouv.fr/codes/article_lc/LEGIARTI000045292599/
« Le fait de harceler une personne par des propos ou comportements répétés ayant pour objet ou pour effet une dégradation de ses conditions de vie se traduisant par une altération de sa santé physique ou mentale (…) »
Avec au moins une possible circonstance aggravante : « 4° Lorsqu’ils ont été commis par l’utilisation d’un service de communication au public en ligne ou par le biais d’un support numérique ou électronique ; »
Source : https://www.legifrance.gouv.fr/codes/article_lc/LEGIARTI000045292599/
via https://youtu.be/hg1-T1V8nQM?t=183
Merci, je prends note que l’intention n’est pas un critère nécessaire pour caractériser le harcèlement.
Pour le deuxième point, une liste de termes a été proposée dans un autre commentaire. Il les a encore désignés récemment par l’expression Toxikistan. Pouvez-vous accepter que ne pas chercher les tweets contenant ce type de sobriquets va mécaniquement conduire à sous-évaluer les messages négatifs émis par le groupe zet en direction du groupe ZEM ?
Bonjour, ça fait plusieurs jours que je lis vos échanges et je vois partout que le harcèlement est qualifié par « l’intention OU l’effet » et donc que sans intention on peut quand même être l’auteur de harcèlement. C’est faux.
Déjà avant parler de la définition de harcèlement, il est nécessaire de prendre en compte que pour les délits et les crimes il faut une intention (article 121-3 du Code Pénal qui fait partie des dispositions générales qui tiennent a s’appliquer pour l’ensemble des infractions, crimes et délits). Il existe cependant des exceptions prévues par la loi (les accidents de la route par exemple). Ces exceptions sont limitées et donc les définitions des délits qui ne nécessitent pas l’intention mentionnent EXPLICITEMENT l’article du code pénal précité (par exemples les délits des articles 222-19 à 222-21 qui sont les délits portant atteintes involontairement à l’intégrité de la personne). Ces exceptions sont d’ailleurs prévu à l’article 121-3 pour tout ce qui relève de la maladresse, négligence, imprudence etc…
Quid du harcèlement ? Déjà le harcèlement n’est pas consacré par un article de la section « des atteintes involontaires à l’intégrité de la personne ».
Le harcèlement est défini par plusieurs articles
-> harcèlement sexuel : 222-33 CP
-> harcèlement moral : articles 222-33-2 à 222-33-2-3
Tous ces articles précisent qu’il faut : une répétition et une dégradation (vie, travail, santé etc)
J’ai vu plusieurs fois des gens parler de la phrase « ayant pour objet OU pour effet une dégradation (…) » en disant que dès lors pas besoin de l’intention alors que ce n’est pas ce que veut dire cette phrase en droit. Cette phrase permet juste de quand même sanctionner le comportement qui avait pour intention de nuire sans qu’il n’y ait forcément eu de dégradation notable des conditions de vie, de la santé mentale, des conditions de travail.
En somme : il faut 3 éléments pour constituer le harcèlement que sont :
– l’intention de commettre le délit (donc intention de dégrader les conditions de vie, de travail, de santé, etc)
– la répétition des propos ou comportements (meme si la répétition peut être soulevé si l’auteur de l’infraction n’a eu qu’un seul propos ou comportement mais que celui-ci s’inscrit dans une succession de propos et comportement (a noter d’ailleurs qu’il est bien préciser qu’il faut pour cela qu’ils sachent que des propos ou comportements caractérisent une répétition : article 222-33-2-2)
– la dégradation
Et pourtant si on tape sur Google (ou n’importe quel autre moteur de recherche) « harcèlement intention » vous allez tomber sur des titres d’articles juridiques tel que « [jurisprudence] le harcèlement moral n’est pas nécessairement intentionnel ».
Alors est ce que ces articles sont faux ? Non
Est ce que tout ce que je viens d’écrire est faux ? Non plus
Cette jurisprudence existe il s’agit de plusieurs arrêts de la chambre social de la cour de cassation. La chambre social ici fait une application de l’article L.1152-1 du Code du travail portant sur le harcèlement moral subit par les salariés. Effectivement, il s’agissait pour la chambre social de sanctionner l’acharnement de l’employeur sur un de ses salariés sans que l’employeur ne soit forcément conscient de comment son comportement est vécu.
Alors est ce que cette définition pourrait être retenu en dehors du droit social ? Bah… non
Il faut d’abord comprendre que l’on peut être condamné au civil (dont le droit social) mais ne pas l’être au pénal.
Il existe une jurisprudence dans lequel la chambre criminelle rejoint la chambre social sur le harcèlement moral : le caractère de potentialité de l’altération (cf ce que je dis plus haut : même s’il n’y a pas d’atteinte ou d’altération, la seule potentialité ou le fait que les comportements ou propos sont « susceptibles de » suffit) Cass. crim., 26 janvier 2016 n°14-80.455
Mais même dans cette JP, la chambre criminelle ne revient pas sur l’intention : elle s’en sert même pour dire qu’au début il n’y avait pas d’effet (pas de dégradation) mais une intention.
Et tout cela se comprends très bien par l’adage en droit pénal « nullum crimen, nulla poena sine lege » : pas de crime, pas de peine, sans une loi qui les prévoit (d’ailleurs repris à l’article 111-3 CP). En droit pénal, contrairement au droit civil, l’interprétation du juge doit être stricte et ne doit pas pratiquer une interprétation par analogie ou une interprétation large ET dans le cas où le doute subsiste sur l’interprétation de la loi : le doute doit toujours profiter à l’accusé.
Je suis pas spécialiste mais je me pose des questions sur la méthode,
Les tweet analysé par l’IA était il lu individuellement deconnecté de ce qui aurait au dessus ou au dessous ,
Genre un utilisateur qui fait une réponse en 10 tweet , les réunir pour analyser le bloc me semble plus pertinent non ?
Et l’echange de court tweet dans une discussion ca devient encore plus complexe , mais ne faudrait il pas aussi concaténer l’ensemble des tweets de chaque utilisateur dans le même bloc d’analyse.
Ca me semble indispensable pour avoir une meilleure idée du sens réel général.
Un propos sorti de son contexte global peux, faire croire que l’on dit l’inverse de ce qu’on pense.
Comme l’IA de tweeter complètement pété qui ban des homosexuel pour avoir dit pd , a un moment ça n’as plus aucun sens ..
Il n’y a pas trop de raison que cette IA se débrouille mieux en analysant chaque tweet sans ce qu’il y a autour non ?
Miaou,
J’apparais dans un des graphiques de la vidéo, qui présente les comptes ayant eu des interactions négatives durant l’été avec le collectif. Cela pour deux raisons: la première est que j’ai beaucoup défendu Mendax, Mr Sam et Clément Freze lors des différentes shitstorm. Et, effectivement, s’interposer face à du harcèlement entraine des tweets qui ont tout pour être identifiés comme « négatifs ».
La seconde raison est une très (trop?) longue conversation avec l’un des membres, sur un sujet de désaccord de fond. Échange cordial, qui s’est terminé sur plusieurs points d’accord et une ouverture vers une possible publication d’article.
Pourtant, ce graphique est amené, dans la vidéo, de la façon suivante (à 20:10) :
« Observons maintenant le graphique relatif aux mots-clés concernant le collectif ZEM. Le but ici est d’observer si, de leur côté, les membres du collectif ne seraient pas victimes de harcèlement en meute de la part de la communauté gravitant autour d’Acermendax et, plus généralement, des comptes ZET. Ainsi, toutes les personnes présentes sur le graphique ont parlé du collectif ou a un des membres du collectif entre le 18 juillet et le 18 août de manière négative »
Et c’est là qu’il y a un ÉNORME problème de méthodologie.
Le graphique permet effectivement de voir les échanges négatifs. Mais il ne permet en aucun cas de déterminer s’il y a eu ou pas du harcèlement de meute. Donc la prétention affichée pour introduire le graphique manque totalement de prudence. Et le résultat est que cela induit le public en erreur: les personnes qui pensent qu’elle a voulu démontrer du harcèlement le pensent tout simplement parce que c’est ce qu’elle dit.
La critique est dont tout à fait légitime.
Par ailleurs, j’ai échangé avec Miz Pauline en mp, elle était tout à fait désolé et s’est montré absolument adorable, me répétant que la mesure de la négativité n’était pas équivalente à une mesure du harcèlement. Donc elle a, c’est très clair, parfaitement conscience que ce graphique (ou le précédent) ne peuvent en aucun cas prétendre vérifier s’il y a du harcèlement de meute, venu de quel côté que ce soit.
Je ne comprends pas pourquoi elle a utilisé une formulation fausse pour présenter ces graphiques.
Bonjour,
La première partie de la vidéo originale porte sur la description des deux groupes, et précise qu’ils sont fondamentalement différents, ce qui semble s’expliquer par leur intention, vu que la zem s’est construite au moins en partie en opposition avec la sphère zet. On voit par exemple que la sphère zem se consacre plus au commentaire sur la sphère zet que l’inverse. Est-ce que ces variables descriptives, plutôt que d’être vues comme des statistiques sur lesquelles tirer des conclusions, ne devraient pas être utilisées comme des variables d’ajustement, considérant qu’elles décrivent des différences de nature entre les deux groupes?
Bonsoir,
Le seul truc que je trouve un peu dommage de le travail qui a été fait, c’est de ne pas inclure Youtube.
Si le Harcèlement doit être étudier, il faut inclure Youtube car la » guerre » part de là et si on observe les vidéos qui font le plus de vues chez les Zet, on peut voir que les coups sont donnés des deux côtes.