Почему датасет без единой ошибки может быть плохим датасетом
Представьте себе грустного школьника, которому приходится решать тысячи задач по математике. Учебник в целом хороший, но примерно в одном проценте случаев в нем напечатаны неправильные ответы. Ученик все равно занимается по этому учебнику и в конце концов начинает решать все новые и новые задачи.Интуитивно кажется, что результат должен быть хуже, чем при обучении по идеальному учебнику. И обычно так и происходит: неправильные данные действительно вредят обучению. Но есть любопытный нюанс, что при определенных условиях небольшое количество ошибок в обучающих данных может не только не помешать, но и привести к лучшему качеству на новых данных.Звучит парадоксально: если учиться на неправильных ответах, откуда вообще может взяться улучшение? Об этом и поговорим. Читать далее