Дэн Лу дал агенту на GPT-6 Astra реализовать Pandoc и в каждом условии менял только указание, как тестировать: 25 условий по 25 прогонов, около 90 тысяч долларов по розничным ценам. Скрытые тесты разошлись от 40,5% у TDD до 45,1% у дифференциального тестирования при 44,1% без всяких указаний. Автор сам предупреждает, что данных мало, и разбирает, что из этого можно вынести, а заодно почему вирусное «тесты от ИИ доказанно бесполезны» не следует из проверки на DeepSWE. Читать далее
Continue to Habr →You are being forwarded in 6s — stay on this page