¿La IA aumenta nuestra velocidad en cuanto a productividad?
Un estudio experimental de Model Evaluation and Transparency Research (METR) midió cómo afecta el uso de herramientas de IA (por ejemplo, asistentes de código como Cursor Pro con modelos como Claude 3.5/3.7) a desarrolladores con experiencia trabajando en repositorios de código abierto que conocían bien
Los desarrolladores experimentados tardaron un 19% más de tiempo en completar tareas cuando usaron IA comparado con cuando no la usaron. Y antes de usarla, se esperaba que la IA acelerara su trabajo hasta ~24%, y después seguían creyendo que estaban más rápidos (~20%), aunque los datos mostraban lo contrario.
Esto tiene sus motivos, un uso imperfecto de las herramientas(prompts demasiado simples), familiaridad aún limitada con las interfaces de la IA, estándares de calidad muy altos en el proyecto exigido, insuficiente cobertura de casos complejos por parte de los modelos de IA, distraerse explorando resultados de la IA en vez de avanzar a lo propuesto, en resumidas palabras, la IA no acelera el flujo de trabajo en este caso específico, a pesar de la creencia subjetiva de los desarrolladores

Comentarios
Publicar un comentario