Turnitin обнаружение ИИ: Анализ
Вопрос о том, принадлежит ли текст машине, сложен. Даже OpenAI, разработчик ChatGPT, в 2023 году прекратил свой собственный детектор текста из-за низкой точности. Turnitin постоянно развивает своё распознавание, однако настойчиво предупреждает не использовать результаты как единственную основу для действий.
Quelle: Собственное представление
Основы распознавания ИИ
Turnitin обнаружение ИИ является дополнительной функцией в Similarity Report. Она проверяет «квалифицированный» связный текст в поданной работе на признаки, указывающие на написание ИИ. «Квалифицированный текст» включает проза в абзацах; таблицы, списки, поэзия или код не учитываются надежно в оценке. Отображение выдаёт процент только начиная с 20 процентов. Ниже этого Turnitin с июля 2024 года показывает только звездочку как знак повышенной неопределённости. Здесь Частота ложных срабатываний выше.
Поддерживаемые языки на данный момент — английский, испанский и японский. Минимальные требования включают помимо прочего 300 слов прозы, максимум 30 000 слов и форматы файлов .docx, .pdf, .txt или .rtf. Отчёт также различает между « и » (например, с помощью инструментов перефразирования), чтобы более точно разъяснить паттерны использования. AI-generated only" « и » AI-generated and AI-paraphrased" « (например, с помощью инструментов перефразирования), чтобы более точно разобрать образцы использования. Turnitin постепенно расширяет распознавание и внедряет, в частности, распознавание так называемых « Bypasser/Humanizer"-Tools на английском языке..
Текущее состояние и развитие
Turnitin запустил своё распознавание ИИ в 2023 году в крупном масштабе и с тех пор анализирует большие объёмы данных. Согласно Turnitin/Medienberichten проверял систему до 2024 года более 200 миллионов работ. Примерно 11 процентов имели не менее чем 20 процентов доли ИИ, примерно 3 процента — 80 процентов или более. Turnitin сообщает для документов с более чем 20 процентами доли ИИ показатели ложной тревоги по документам менее 1 процента.
В июле 2024 Turnitin изменил отображение: значения ниже 20 процентов не выводятся численно; вместо этого появляется звездочка как признак повышенной неопределённости. В 2023/2024 году добавились, помимо прочего, распознавание парафраз ИИ и языковые модели для японского и испанского. На 2025 год Turnitin анонсировал, среди прочего, «и административные функции для более тонкого управления» AI-bypasser detection" и административные функции для более тонкого управления.
Параллельно ряд вузов решили отключить Turnitin AI-распознавание или использовать его крайне осторожно. Примеры включают Vanderbilt, которые Montclair State University, а также Northwestern, где обнаружение ИИ не активировано.
Quelle: in.turnitin.com
Пример интерфейса Turnitin, который показывает процент использования ИИ в написании текста.
Критический анализ
Turnitin стремится защищать процессы учреждений и снижать ложные срабатывания; в то же время растёт давление на fair использование ИИ. Однако исследования показывают системные ограничения: одно из часто цитируемых Studie in „Patterns“ (Cell Press) Документировано, что несколько детекторов неправильно идентифицируют тексты не носителей языка как ИИ чаще. В корпусе TOEFL средний показатель ложноположительных срабатываний составил 61,3 процента (не относится напрямую к Turnitin, но релевантно контексту детекции ИИ).
Turnitin сам отрицает значимый ELL-байас в собственном материале и опубликовал соответствующие блог-посты, которые однако не заменяют рецензируемое исследование. Практически важно: Turnitin явно указывает на то KI-Anzeige nicht als alleinige Grundlage für Maßnahmen К тому же существует «гонка вооружения» с парафразами/гуманизаторами: исследования показывают, что сознательные перестройки формулировок могут значительно снизить точность детекторов.
Quelle: YouTube
Краткий обзор KI-отчета Turnitin полезен для понимания логики работы и ограничений со стороны поставщика.
Факты и заблуждения
Подтверждено: Turnitin отображает при 1–19 процентах лишь звездочку и никаких выделений, потому что здесь чаще Fehlalarme auftreten.
Подтверждено: Отчет различает между « и » для классификации образцов. AI-generated only" « и » AI-generated and AI-paraphrased" для классификации образцов.
Подтверждено: Минимальные требования включают, помимо прочего, 300 слов прозы, до 30 000 слов, принятые форматы .docx/.pdf/.txt/.rtf, языки: английский/испанский/японский.
Подтверждено: Результаты являются сигналом для принятия решения, а не доказательством; « nicht als alleinige Grundlage" использовать.
Неясно: Реальная частота ложных срабатываний в широком применении. Turnitin указывает, что для документов с более чем 20 процентами доли ИИ — <1%; независимые рецензируемые репликации по этому поводу в открытом доступе практически не публикуются.
Неясно: Склонность к смещению против неродных носителей языка, в частности в Turnitin. « Patterns"-Studie показывает сильные искажения у детекторов в целом; Turnitin ссылается на собственные анализы без значимого смещения — доказательная база противоречивая.
Ложно/Вводит в заблуждение: «Процент ИИ соответствует доле всей работы.» Это неверно, он относится только к « qualifizierenden" Пояснение: проза; другие виды текста не учитываются надёжно.
Ложно/Вводит в заблуждение: «Детекторы доказывают злоупотребление ИИ.» Даже крупные поставщики предупреждают, что результаты nicht als alleinige Evidenz должны использоваться; они являются поводом для дидактического разъяснения, а не для вынесения вердикта.
Ложно/Вводит в заблуждение: «Распознавание ИИ решено». OpenAI прекратил свой собственный классификатор текстов из‑за niedriger Genauigkeit что подчёркивает сложность проблемы.
Реакции и рекомендации
Университеты вроде Vanderbilt отключили Turnitin AI-распознавание со ссылкой на вопросы надёжности и смещения и рекомендуют подходы, ориентированные на диалог. Montclair приостановили использование и сослались на аналогичные решения других университетов. Northwestern Поясняет, что обнаружение ИИ в настоящее время не активировано. Turnitin подчеркивает, что технология должна давать преподавателям подсказки и не заменять их решение.
Для преподавателей и студентов это означает: распознавание ИИ может быть полезным сигналом, но не заменяет педагогическую разъяснение. Используйте AI-отчет как отправную точку для разговора и сочетайте его с примерами текстов, доказательствами процессов и правилами курса. Стройте прозрачный дизайн курса и ясные ожидания по допустимому использованию ИИ, а не полагайтесь на чистую наказательную логику. Институционально действует: Jisc rät, Не следует переоценивать детекцию и вместо этого инвестировать в форматы заданий, диалог и руководства по вмешательству. Всегда проверяйте подсказки несколько раз и никогда не используйте их как единственную основу для мер.
Quelle: YouTube
Quelle: turnitin.com
Белая книга Turnitin об архитектуре и тестовых протоколов их модели распознавания ИИ.
Перспективы
Открытые вопросы остаются: Насколько точны показатели ошибок в реальных, разнообразных условиях — и как они влияют на различные языковые и компетентностные профили? Для этого отсутствуют независимые, актуальные сравнительные исследования на открытых наборах данных. Насколько устойчиво обнаружение к парафразам/гуманизаторам в долгосрочной перспективе; современные исследования показывают способы обхода. Регуляторы работают над рамками для справедливых проверок в эпоху ИИ, в том числе Ofqual в Великобритании с принципами безопасного использования ИИ в системах оценивания. Также поставщики, такие как OpenAI, скорее ориентируются на доказательства происхождения/Provenance, чем на последующую детекцию, потому что чистая детекция остаётся ненадёжной.
Вывод: Turnitin обнаружение ИИ предоставляет полезные указания на характерные образцы для ИИ, но не является автоматическим доказательством. Надежная практика сочетает: прозрачные правила допустимого использования ИИ, заданий, подтверждающих результаты, документацию процессов — и уведомление об ИИ как повод для разговора, а не для вынесения вердикта. Тот, кто действует так, защищает справедливость и образовательные цели — и сохраняет взгляд на возможности и границы технологий.