Как ИИ может правильно посчитать и всё равно ошибиться

Допустим, по инструкции среднее нужно считать только по показаниям, снятым после того, как прибор вышел на рабочий режим. ИИ верно применил формулу, но включил в расчёт и показания, снятые во время прогрева. Сложение и деление можно проверять сколько угодно: ошибка не там. Для расчёта взяли не те данные.

Теперь я пишу тест. Откуда взять ожидаемый ответ? Допустим, я прочитал инструкцию так же и посчитал среднее по всем показаниям. Числа совпадут, тест пройдёт. А показания за время прогрева так и останутся в обоих расчётах.

Совпадение показывает, что два расчёта согласуются между собой. Оно не показывает, что хотя бы один из них сделан по инструкции.

Когда я проверяю техническую работу, выполненную с ИИ, мне уже недостаточно сверить формулу. В методике может быть указано, при каких условиях проводить измерения, какие данные брать и в каких случаях этот способ вообще применим. Программа может раз за разом выдавать одно и то же число — и каждый раз отвечать не на тот вопрос.

Я возвращаюсь к документу. Какой пункт задаёт правило? Почему мы взяли именно эти показания? Откуда взялось ожидаемое значение в тесте? Если оно получено из того же прочтения инструкции, мне всё ещё нужно независимо проверить, правильно ли мы её поняли. Ещё один пересчёт этого не заменит.

Есть ещё один вопрос, особенно в научной работе или там, где действуют обязательные нормы. Даже если инструкция соблюдена, подходит ли сама методика для этого случая? Тут могут понадобиться специалист, официальное разъяснение или независимые данные. Успешный программный тест этого не устанавливает. А пока ответа нет, лучше честно сказать, что именно проверено: арифметика сходится, применимость методики ещё не подтверждена.

Прежде чем пересчитывать, стоит разобраться: а это ли вообще нужно было считать?