Nous mettons à votre disposition plusieurs
études comparatives européennes (Royaume-Uni, Belgique, Allemagne,
Pays-Bas).
1 - FAUX POSITIFS : Plus de similarités mais aussi plus de spam
et un certain manque de pertinence:
Certaines des études ci-dessous mettent en avant la propension de
Turnitin à identifier plus de similarités que d'autres solutions.
Plusieurs études (NCC et Berlin) ont démontré que cet
argument n'est pas nécessairement synonyme de meilleure qualité.
Le revers d'une profusion de sources "positives" est la forte
présence de sources dénuées d'intérêt
(Sites spam, blogs, page sans contenu etc.). Elle sont une vraie gène
pour les correcteurs qui doivent faire le tri de ces sources parasites.
A être plus exhaustif, Turnitin perd en pertinence et augmente les
faux positifs..
Urkund a fait le choix d'être pertinent et d'éviter les faux
positifs qui augmentent la tache du correcteur.
2 - Les caractères accentués
:
D'autre part, certaines des études présentées ci-dessous
ont été effectuées avec du contenu de langue anglaise,
une langue qui ne possède pas de caractère accentué
ou en néerlandais qui n'use que relativement peu les caractères
accentués.
Jusqu'à ce jour, il n'a pas été démontré
que Turnitin puisse traiter de manière satisfaisante des langues
comportant des caractères accentués telles que le français,
l'allemand ou suédois (cf. étude berlinoise qui place deux
années de suite (2007 et 2008) Turnitin en 13ème place,
derrière Ephorus et Urkund).
3 - L'ARCHIVAGE: Un bénéfice
pour chaque établissement:
Les archives internes de chaque solution donnent encore plus de pertinence
dans les résultats d'analyse.
Aucune étude européenne ne fait clairement apparaitre ce
critère dans leur étude. Poutant 'une large base de documents
nationaux provenant d'établissements universitaires notoires mais
aussi de publications de recherche et de thèses apportent des avantages
indéniables.
C'est notamment un excellent moyen pour réduire l'incidence des
sites de triches, les échanges de documents entre étudiants
d'une année sur l'autre etc...
- À titre d'exemple, chaque année Urkund reçoit plus
de 8 500 thèses doctorales en langue allemande (Autriche + Allemagne
+ suisse) tous domaines confondus. Chaque thèse comportant plus
de 1000 pages.
- Un autre exemple, une centaine de laboratoires de recherche français
utilisent urkund. Enfin, un grand nombre d'établissements français
enseignant les Sciences Politiques et les Sciences de Gestion utilisent
quotidiennement Urkund.
Les avantages de l'archivage mutualisé entre tous les établissements
est un grand bénéfice pour chacun de ces établissements.
En 2009, Urkund a reçu 760 000 documents.
En 2010, Urkund recevra 1 million de documents.
Au cours du mois de mars 2010, Urkund a reçu près de 120
000 documents.
  
L'université de Maastricht a essentiellement
mené son étude sur un critère unique: la quantité
de similitude identifiée par chaque système sans intégrer
la notion de pertinence et de sites spam aussi appelés "faux
positifs" (sources identifiées comme similaires mais n'ayant
aucun intérêt avec le document original).
Ainsi Turnitin obtient le plus haut score en présentant des taux
de similitude élevés mais intégrant beaucoup plus
de sites spam ou de sites sans importance comme le notaient déjà
l'étude berlinoise de 2008 et l'étude du NCC consulting
de Manchester en 2007.
Lisez
la réponse d'Urkund adressée à l'Université
de Maastricht (en anglais).
L'université de Maastricht n'a pas encore pris sa décision
concernant l'acquisition d'une solution autre que Safe-Assign. Cependant
le classement officiel des solutions comparées à Safe-Assign
a été révélé :
1- Turnitin
2- Urkund
3- Ephorus
Étude
"Plagiarism - Concept Version d.d 11-02-2010" de l'université
de Maastricht (en anglais).
  
En suivant de nombreux critères distincts
l'Université de Leuven (Belgique) a comparé les 3 principaux
systèmes anti-plagiat scolaire.
1- Turnitin (241pts)
2- Urkund (227.6 pts)
3- Ephorus (202.4 pts)
Urkund arrive en 2ème place avec 227.6
points largement devant Ephorus qui n'obtient que 202 4. TurnItIn obtient
la première place avec 241 points sur un total de 300 points.
Analyse
et résumé d'Urkund à l'égard des résultats
de cette étude (en anglais).
L'étude de l'université de Leuven est disponible sur demande.
La partie correspondant au prix de chaque solution n'est pas publiée.
L'étude n'est disponible qu'en néerlandais.
  
L'évaluation des différents systèmes
s'est effectuée au cours de l'année 2008. Urkund devance
de 3 positions Ephorus et de 8 positions Turnitin (qui semble continuer
à avoir des difficultés à traiter correctement les
caractères accentués).
4ème position : Urkund
7ème position : Ephorus
13ème position : Turnitin
Le
classement 2008 de ces 2 chercheuses de l'université de Berlin
(en allemand)
Traduction en anglais des résultats de l'étude (disponible
en anglais pour la mi-avril 2010)
Les bons résultats de cette étude
2008 pour Urkund sont le fruit d'un long travail pour faire évoluer
Urkund vers la version actuelle. Effectivement en Octobre 2007, Urkund
a publié une nouvelle version de son analyse et avec de tous nouvaux
algorithmes et modules d'analyse.
Découvrez les détails de résultats (en allemand)
en visitant :
http://plagiat.htw-berlin.de/software/2008/kurzfassung/
(en allemand)
  
L'institut anglais JISC dédié à
la promotion et à la communication sur le thème de la lutte
anti-plagiat scolaire a demandé à l'agence de conseil NCC
de faire une étude visant à comparer et évaluer les
principaux systèmes anti-plagiat scolaire.
Le JISC ayant été durant plusieurs années le promoteur
de Turnitin au Royaume Uni, nous ne nous attendions pas à une étude
objective. Pour cette raison, Urkund a une première fois refusé
de participer à l'évaluation et n'a pas souhaité
fournir les informations techniques demandées. Suite à une
nouvelle sollicitation de la part de la agence NCC; Urkund a accepté
de participer à l'évaluation.
Découvrez
la communication d'Urkund à l'égard des résultats
de cette étude (en anglais)
Outre
Turnitin, le système Ephorus fait aussi l'objet d'évaluation
et de comparaison. Urkund a arrive pratiquement ex-aqueo avec Turnitin
notamment parce que les documents testés étaient tous de
langue anglaise (Turnitin ayant des difficultés à traiter
correctement les caractères accentués).
1
- Turnitin "quasiment ex-aequo avec Urkund" selon l'étude
NCC
2 - Urkund
3 - Ephorus
4 - SafeAssign
5 - Docoloc
Téléchargez
l'étude complète du NCC (en anglais)
|