Las pruebas<\/strong>.\u00a0Usando la API\u00a0de estos modelos, los investigadores analizaron el rendimiento de estos modelos en dos versiones distintas, la de marzo de 2023 y la de junio de 2023. Realizaron pruebas consistentes en preguntas de resoluci\u00f3n de problemas matem\u00e1ticos, cuestiones sensibles, generaci\u00f3n de c\u00f3digo y razonamiento visual.<\/p>\n 17077 es primo, pero no para ChatGPT<\/strong>. Una de las pruebas m\u00e1s llamativas fue la que indic\u00e1bamos al comezar el art\u00edculo. Se le pregunt\u00f3 al chatbot si el n\u00famero 17077 es primo (lo es) razonando la respuesta, y esa misma prueba se realiz\u00f3 con 500 ejemplos. Los cambios en la precisi\u00f3n fueron sorprendentes. GPT-4, que acierta el 97,6% de las preguntas con su versi\u00f3n de marzo, ca\u00eda a una precisi\u00f3n del 2,4% en su versi\u00f3n de junio. A GPT-3.5 le pasaba justo lo contrario y pasaba del 7,4% de marzo al 86,8% de junio.<\/p>\n M\u00e1s (o menos) parlanchines<\/strong>. Tambi\u00e9n notaron que GPT-4 era menos \u00abparlanch\u00edn\u00bb: las respuestas eran m\u00e1s escuetas y el n\u00famero de caracteres generado pasaba de 821,2 en marzo a 3,8 en junio. GPT-3.5, por contra, escrib\u00eda respuestas un 40% m\u00e1s largas. Con el ejemplo expuesto, 17077, GPT-3.5 dec\u00eda directamente que no era primo, mientras que GPT-4 no era capaz de asegurarlo y generaba un peque\u00f1o programa en Python que el usuario deb\u00eda ejecutar para comprobarlo (pero no daba respuesta). El programa, al ser ejecutado, daba la respuesta correcta.<\/p>\n C\u00f3digo menos ejecutable<\/strong>. Este chatbot\u00a0se usa mucho para generar c\u00f3digo, pero su evoluci\u00f3n en este apartado tambi\u00e9n es err\u00e1tica. Seg\u00fan los investigadores, para GPT-4 el c\u00f3digo generado directamente ejecutable (y por tanto, que ofrece mejores respuestas) cay\u00f3 del 52% al 10% en junio, y para GPT-3.5 el porcentaje tambi\u00e9n cay\u00f3 del 22 al 2%. GPT-4 escribi\u00f3 respuestas m\u00e1s largas y con m\u00e1s texto que no era c\u00f3digo.<\/p>\n \u00bfSe est\u00e1 volviendo peor ChatGPT?<\/strong>\u00a0El estudio llega en un momento curioso, sobre todo porque varios debates en foros\u00a0como Hacker News\u00a0revelan que para muchos usuarios la calidad de ChatGPT se ha degradado. Entre las teor\u00edas que se barajan est\u00e1 la de que OpenAI podr\u00eda estar ofreciendo versiones \u00abligeras\u00bb para reducir los recursos necesarios \u2014como tiempo de GPU\u2014 para computar toda esa informaci\u00f3n.<\/p>\n Lo cierto es que es dif\u00edcil evaluar la progresi\u00f3n de estos modelos si tenemos en cuenta que OpenAI es especialmente opaca respecto a sus modelos. Como explican\u00a0en Ars Technica, no hay transparencia sobre c\u00f3mo son entrenados o los conjuntos de datos que se usan, y su propio funcionamiento interno\u00a0es un misterio hasta para sus creadores<\/p>\n![\"\"](\"https:\/\/i0.wp.com\/equipomedios.com\/blog\/wp-content\/uploads\/2023\/07\/1366_2000-1.jpeg?resize=640%2C492&ssl=1\")
<\/p>\n