Skip to content
Tiatra, LLCTiatra, LLC
Tiatra, LLC
Information Technology Solutions for Washington, DC Government Agencies
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact
 
  • Home
  • About Us
  • Services
    • IT Engineering and Support
    • Software Development
    • Information Assurance and Testing
    • Project and Program Management
  • Clients & Partners
  • Careers
  • News
  • Contact

Los desarrolladores ganan poco (o nada) con los asistentes de codificación de IA

Los asistentes de programación han sido uno de los primeros casos de uso obvios en la fiebre del oro de la inteligencia artificial (IA) generativa, pero las mejoras de productividad prometidas se están quedando cortas, si es que existen.

Muchos desarrolladores afirman que los asistentes de codificación de IA les hacen más productivos, pero un estudio reciente se propuso medir su rendimiento y no encontró mejoras significativas. El uso de GitHub Copilot también introdujo un 41% más de errores, según el estudio de Uplevel, una empresa que proporciona información a partir de datos de codificación y colaboración.

El estudio midió el tiempo del ciclo de pull request (PR), o el tiempo para fusionar código en un repositorio, y el rendimiento de PR, el número de pull requests fusionadas. No se encontraron mejoras significativas para los desarrolladores que utilizan Copilot.

Uplevel, utilizando datos generados por sus clientes, comparó el rendimiento de unos 800 desarrolladores que utilizaron GitHub Copilot durante un período de tres meses con su rendimiento en un período de tres meses antes de la adopción.

Medición del agotamiento

Además de medir la productividad, el estudio de Uplevel analizó los factores de agotamiento de los desarrolladores, y descubrió que GitHub Copilot tampoco ha ayudado en este aspecto. La cantidad de tiempo de trabajo dedicado fuera de las horas estándar disminuyó tanto para el grupo de control como para el grupo de prueba que utilizaba la herramienta de codificación, pero disminuyó más cuando los desarrolladores no utilizaban Copilot.

El estudio de Uplevel fue impulsado por la curiosidad sobre las afirmaciones de grandes ganancias de productividad a medida que los asistentes de codificación de IA se vuelven omnipresentes, dice Matt Hoffman, gerente de Producto y analista de Datos de la compañía. Una encuesta de GitHub publicada en agosto reveló que el 97% de los ingenieros de software, desarrolladores y programadores afirmaban utilizar asistentes de codificación de IA.

“Hemos visto diferentes estudios de personas que dicen: ‘Esto es realmente útil para nuestra productividad’”, dice. “También hemos visto a algunas personas diciendo: ‘¿Sabes qué? Como que tengo que ser más revisor [de código]’”.

Un representante de GitHub Copilot no tenía un declaraciones sobre el estudio, pero dirigió el foco hacia un estudio reciente que dice que los desarrolladores fueron capaces de escribir código 55% más rápido utilizando el asistente de codificación.

El equipo de Uplevel también entró en su estudio esperando ver algunas ganancias de productividad, dice Hoffman.

“La hipótesis de nuestro equipo era que pensábamos que el tiempo del ciclo de relaciones públicas disminuiría”, insiste. “Pensamos que serían capaces de escribir más código, y en realidad pensamos que la tasa de defectos podría bajar porque estás usando estas herramientas de IA generativa para ayudarte a revisar tu código incluso antes de que lo saques”.

Hoffman reconoce que puede haber más formas de medir la productividad de los desarrolladores que la duración del ciclo de RP y el rendimiento de RP, pero Uplevel considera que estas métricas son una medida sólida del rendimiento de los desarrolladores.

Comprobar más tarde

Además, Uplevel no está sugiriendo que las organizaciones dejen de utilizar asistentes de codificación, porque las herramientas están avanzando rápidamente.

“Hemos oído que la gente está acabando siendo más revisores de este código que en el pasado, y puede que tengas cierta falsa fe en que el código está haciendo lo que esperas que haga”, añade Hoffman. “Hay que vigilar de cerca lo que se genera: ¿hace lo que se espera que haga?”.

En las trincheras, los equipos de desarrollo informan de resultados dispares.

Los desarrolladores de Gehtsoft USA, una empresa de desarrollo de software a medida, no han observado grandes aumentos de productividad con los asistentes de codificación basados en IA de grandes modelos lingüísticos (LLM), afirma Ivan Gekht, CEO de la empresa. Gehtsoft ha estado probando asistentes de codificación en entornos sandbox, pero aún no los ha utilizado con proyectos de clientes.

“Cada vez es más difícil entender y depurar el código generado por la IA, y la resolución de problemas consume tantos recursos que es más fácil reescribir el código desde cero que arreglarlo”

Ivan Gekht, CEO, Gehtsoft

“Utilizar los LLM para mejorar su productividad requiere tanto que el LLM sea competitivo con un humano real en sus capacidades como que el usuario real sepa cómo utilizar el LLM de la forma más eficiente”, afirma. “El LLM no posee pensamiento crítico, autoconciencia ni capacidad de razonamiento”.

Hay una diferencia entre escribir unas pocas líneas de código y el desarrollo de software en toda regla, añade Gekht. Codificar es como escribir una frase, mientras que el desarrollo es como escribir una novela, sugiere.

“El desarrollo de software es una función cerebral al 90%: entender los requisitos, diseñar el sistema y tener en cuenta las limitaciones y restricciones”, añade. “Convertir todo este conocimiento y comprensión en código real es una parte más sencilla del trabajo”.

Al igual que el estudio de Uplevel, Gekht también considera que los asistentes de IA introducen errores en el código. Cada nueva iteración del código generado por la IA acaba siendo menos coherente cuando se desarrollan diferentes partes del código utilizando diferentes indicaciones.

“Cada vez es más difícil entender y depurar el código generado por la IA, y la resolución de problemas consume tantos recursos que es más fácil reescribir el código desde cero que arreglarlo”, afirma.

Beneficios

La experiencia del asistente de codificación en Innovative Solutions, un proveedor de servicios en la nube, es muy diferente. Según Travis Rehl, director de Tecnología de la empresa, ésta experimentando un aumento significativo de la productividad gracias a asistentes de codificación como Claude Dev y GitHub Copilot. La empresa también utiliza una integración propia de Anthropic para supervisar las solicitudes de extracción y validar la calidad del código.

Rehl ha comprobado que la productividad de los desarrolladores se ha multiplicado por dos o por tres, según la velocidad a la que completan las solicitudes, el tiempo de entrega a los clientes y la calidad de las solicitudes, medida por el número de errores en el código.

Recientemente, el equipo de Rehl completó un proyecto de un cliente en 24 horas gracias a los asistentes de codificación, cuando antes el mismo proyecto les habría llevado unos 30 días, afirma.

Sin embargo, algunas de las exageraciones sobre los asistentes de codificación -como la sugerencia de que sustituirán a equipos de desarrollo enteros en lugar de simplemente complementarlos o remodelarlos- no son realistas, afirma Rehl. Los asistentes de codificación pueden utilizarse para subcontratar código rápidamente u optimizar las rutas del código reelaborando segmentos del mismo, añade.

“Hay que moderar las expectativas en torno a los asistentes de codificación, porque no escribirán todo el código, ni siquiera todo el código correcto, en el primer intento”, afirma. “Es un proceso iterativo que, cuando se utiliza correctamente, permite a un desarrollador aumentar dos o tres veces la velocidad de su codificación”.


Read More from This Article: Los desarrolladores ganan poco (o nada) con los asistentes de codificación de IA
Source: News

Category: NewsSeptember 26, 2024
Tags: art

Post navigation

PreviousPrevious post:Reporting cybersecurity posture and systemic risk to the boardNextNext post:GMV, adjudicataria del contrato para el despliegue del ‘hub’ de comunicaciones de la Unión Europea

Related posts

Barb Wixom and MIT CISR on managing data like a product
May 30, 2025
Avery Dennison takes culture-first approach to AI transformation
May 30, 2025
The agentic AI assist Stanford University cancer care staff needed
May 30, 2025
Los desafíos de la era de la ‘IA en todas partes’, a fondo en Data & AI Summit 2025
May 30, 2025
“AI 비서가 팀 단위로 지원하는 효과”···퍼플렉시티, AI 프로젝트 10분 완성 도구 ‘랩스’ 출시
May 30, 2025
“ROI는 어디에?” AI 도입을 재고하게 만드는 실패 사례
May 30, 2025
Recent Posts
  • Barb Wixom and MIT CISR on managing data like a product
  • Avery Dennison takes culture-first approach to AI transformation
  • The agentic AI assist Stanford University cancer care staff needed
  • Los desafíos de la era de la ‘IA en todas partes’, a fondo en Data & AI Summit 2025
  • “AI 비서가 팀 단위로 지원하는 효과”···퍼플렉시티, AI 프로젝트 10분 완성 도구 ‘랩스’ 출시
Recent Comments
    Archives
    • May 2025
    • April 2025
    • March 2025
    • February 2025
    • January 2025
    • December 2024
    • November 2024
    • October 2024
    • September 2024
    • August 2024
    • July 2024
    • June 2024
    • May 2024
    • April 2024
    • March 2024
    • February 2024
    • January 2024
    • December 2023
    • November 2023
    • October 2023
    • September 2023
    • August 2023
    • July 2023
    • June 2023
    • May 2023
    • April 2023
    • March 2023
    • February 2023
    • January 2023
    • December 2022
    • November 2022
    • October 2022
    • September 2022
    • August 2022
    • July 2022
    • June 2022
    • May 2022
    • April 2022
    • March 2022
    • February 2022
    • January 2022
    • December 2021
    • November 2021
    • October 2021
    • September 2021
    • August 2021
    • July 2021
    • June 2021
    • May 2021
    • April 2021
    • March 2021
    • February 2021
    • January 2021
    • December 2020
    • November 2020
    • October 2020
    • September 2020
    • August 2020
    • July 2020
    • June 2020
    • May 2020
    • April 2020
    • January 2020
    • December 2019
    • November 2019
    • October 2019
    • September 2019
    • August 2019
    • July 2019
    • June 2019
    • May 2019
    • April 2019
    • March 2019
    • February 2019
    • January 2019
    • December 2018
    • November 2018
    • October 2018
    • September 2018
    • August 2018
    • July 2018
    • June 2018
    • May 2018
    • April 2018
    • March 2018
    • February 2018
    • January 2018
    • December 2017
    • November 2017
    • October 2017
    • September 2017
    • August 2017
    • July 2017
    • June 2017
    • May 2017
    • April 2017
    • March 2017
    • February 2017
    • January 2017
    Categories
    • News
    Meta
    • Log in
    • Entries feed
    • Comments feed
    • WordPress.org
    Tiatra LLC.

    Tiatra, LLC, based in the Washington, DC metropolitan area, proudly serves federal government agencies, organizations that work with the government and other commercial businesses and organizations. Tiatra specializes in a broad range of information technology (IT) development and management services incorporating solid engineering, attention to client needs, and meeting or exceeding any security parameters required. Our small yet innovative company is structured with a full complement of the necessary technical experts, working with hands-on management, to provide a high level of service and competitive pricing for your systems and engineering requirements.

    Find us on:

    FacebookTwitterLinkedin

    Submitclear

    Tiatra, LLC
    Copyright 2016. All rights reserved.