СИСТЕМА ДОПОЛНЕННОЙ ПОИСКОМ ГЕНЕРАЦИИ С ИСПОЛЬЗОВАНИЕМ БЛОКЧЕЙНА ДЛЯ ОБНАРУЖЕНИЯ ДЕЗИНФОРМАЦИИ
DOI:
https://doi.org/10.26577/JMMCS201211426Ключевые слова:
оценка достоверности утверждений, дезинформация, блокчейн, классификация, дополненная поиском, DistilBERT, FAISS, набор данных LIAR, абляционный анализ, журнал аудита, модели-трансформеры.Аннотация
Автоматическая оценка достоверности утверждений остаётся нерешённой задачей об работки естественного языка, особенно для политических заявлений, истинность которых неоднозначна, зависит от контекста и вызывает разногласия экспертов. В статье представлена VeraChain — гибридная система, объединяющая дообученный классификатор DistilBERT, этап поиска по двум индексам (классификация, дополненная поиском, в смысле RAG; текст не генерируется) и хэш-цепочечный реестр, который записывает каждый вердикт вместе с доказательствами, а для пограничных предсказаний предоставляет вердикты похожих прошлых утверждений в качестве сигнала консенсуса. Оба индекса FAISS и реестр строятся только по обучающей части LIAR, и для основного теста реестр замораживается. Поэтапная абляция по пяти случайным seed на 1283 тестовых утверждениях LIAR показывает, что DistilBERT сам по себе достигает точности 64,36 ± 1,25%; добавление одного индекса истинных утверждений снижает точность на 0,75 процентного пункта, второй индекс ложных утверждений возвращает эту потерю (+0,87 п. п., положительно в четырёх из пяти seed), а отношение вероятностей и консенсус по реестру устойчивого выигрыша не дают (−0,05 и −0,11 п. п.). С исходным seed VeraChain достигает 65,24% против 64,77% у той же системы без шага консенсуса (точный тест Макнемара p = 0,36; 95%-й бутстреп-интервал разности [−0,39;1,33] п. п.). Объединение с поиском снижает ожидаемую ошибку калибровки DistilBERT с 0,112 до 0,045, однако температурное масштабирование одного DistilBERT даёт 0,031. На одном GPU ноутбука медианное время обработки утверждения составляет 17,5 мс (95-й процентиль 20,9 мс) с учётом записи блока реестра на диск. Результаты показывают, что хэш-цепочечный реестр может обеспечивать защищённые от незаметного изменения записи аудита при небольших вычислительных затратах, тогда как его использование как сигнала консенсуса не повышает точность на LIAR.











