Connect with us

Ciencia y tecnología

Un estudio de Apple revela profundas grietas en las capacidades de 'razonamiento' del LLM

Published

on

Un estudio de Apple revela profundas grietas en las capacidades de 'razonamiento' del LLM

Este tipo de variación, tanto dentro de los diferentes análisis GSM-Simbólico como en relación con los resultados de GSM8K, es más que sorprendente ya que, como señalan los investigadores, «los pasos generales de razonamiento necesarios para resolver una cuestión siguen siendo los mismos». El hecho de que cambios tan pequeños conduzcan a resultados tan variables sugiere a los investigadores que estos modelos no realizan un razonamiento «formal» sino que son «intentos»[ing] para realizar una especie de coincidencia de patrones dentro de la distribución, alineando las preguntas dadas y los pasos de solución con otros similares vistos en los datos de entrenamiento.

No te distraigas

Sin embargo, la variación general mostrada para las pruebas GSM-Simbólicas fue a menudo relativamente baja en general. ChatGPT-4o de OpenAI, por ejemplo, pasó de un 95,2% de precisión en GSM8K a un todavía impresionante 94,9% en GSM-Symbolic. Esta es una tasa de éxito bastante alta usando cualquiera de los criterios, independientemente de si el modelo en sí utiliza algún razonamiento «formal» detrás de escena (aunque la precisión total de muchos modelos ha caído precipitadamente cuando los investigadores agregaron solo uno o dos pasos lógicos adicionales a los problemas). ). ).


Un ejemplo que muestra cómo algunos modelos son engañados por información irrelevante agregada al conjunto de pruebas GSM8K.

Un ejemplo que muestra cómo algunos modelos son engañados por información irrelevante agregada al conjunto de pruebas GSM8K.


Crédito:

Buscar en Apple


Sin embargo, los LLM evaluados obtuvieron resultados mucho peores cuando los investigadores de Apple modificaron el punto de referencia GSM-Symbolic agregando «declaraciones aparentemente relevantes pero en última instancia intrascendentes» a las preguntas. Para este conjunto de referencia «GSM-NoOp» (abreviatura de «sin operación»), se podría modificar una pregunta sobre cuántos kiwis recoge una persona durante varios días para incluir el detalle incidental de que «cinco de ellos [the kiwis] eran un poco más pequeños que el promedio.

La adición de estos cables falsos provocó lo que los investigadores llamaron «caídas catastróficas del rendimiento» en la precisión en comparación con GSM8K, que oscilaron entre el 17,5% y el 65,7%, según el modelo probado. Estas caídas masivas en la precisión resaltan las limitaciones inherentes al uso de una simple «coincidencia de patrones» para «convertir declaraciones en operaciones sin comprender realmente su significado», escriben los investigadores.


Introducir información irrelevante en las indicaciones a menudo ha llevado a un fracaso «catastrófico» para la mayoría de los LLM «razonadores».

Introducir información irrelevante en las indicaciones a menudo ha llevado a un fracaso «catastrófico» para la mayoría de los LLM «razonadores».


Crédito:

Buscar en Apple


En el ejemplo de los kiwis más pequeños, por ejemplo, la mayoría de los modelos intentan restar las frutas más pequeñas del total final porque, suponen los investigadores, «sus conjuntos de datos de entrenamiento incluían ejemplos similares que requerían conversión a operaciones de resta. Este es el tipo de «defecto crítico» que, según los investigadores, «sugiere problemas más profundos en [the models’] procesos de razonamiento” que no pueden mejorarse mediante ajustes u otras mejoras.

READ  Genial, ahora Google tiene un terrorífico generador de imágenes con IA

Soy un profesional de gestión deportiva con conocimientos adecuados sobre la industria del deporte en España. Tengo varias habilidades que me han ayudado a trabajar en diferentes sectores del deporte en España, incluyendo eventos deportivos, desarrollo de base para el deporte e infraestructura deportiva.

Continue Reading
Click to comment

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Ciencia y tecnología

Tendrás otra oportunidad de reservar la PS5 con temática retro hoy

Published

on

Tendrás otra oportunidad de reservar la PS5 con temática retro hoy

Está a punto de tener otra oportunidad si se perdió la breve ventana de reserva de Sony para su Consola PS5 30 aniversario. El hardware de temática retro se agotó en un instante durante su período de pedido anticipado inicial el 26 de septiembre, dejando a los fanáticos furiosos con el predecible y frustrante proceso de pedido de Sony. Una alerta en la página del producto Sony (a través de kotaku) indica que la segunda ronda se llevará a cabo el martes 29 de octubre al mediodía ET.

Las consolas y accesorios de edición limitada tienen una apariencia retro que recuerda a la PlayStation original, que se lanzó en Japón en 1994. Esto incluye una elegante combinación de colores grises que le da espacio al logotipo de Playstation de la vieja escuela para resaltar.

Tendrás otra oportunidad de reservar la PS5 con temática retro hoy

sony

El mensaje (“Verifique nuevamente el 29 de octubre a partir de las 9:00 a. m. PDT”) solo aparece en las páginas de productos del 30.° aniversario de la Paquete delgado de PS5 de $ 500 Y Controlador DualSense de $ 80. Desafortunadamente, no aparece ningún mensaje de este tipo al revertir Paquete profesional de PS5 O Portal de PlayStation páginas de productos.

Suponiendo que solo esté disponible el paquete Slim, esta será su segunda (y posiblemente última) oportunidad de obtener la más barata de las dos consolas. Incluye la PS5 Slim digital (¡sin unidad de disco!), un controlador DualSense estándar (también temático para la ocasión), una carcasa de conector de cable retro, bridas para cables con forma de PlayStation y un soporte vertical. Ah, y hay algunos obsequios adicionales como una calcomanía, un póster y un clip de PlayStation, que solo podemos imaginar se venderán por tres cifras en eBay después de que llegue el paquete el 21 de noviembre.

READ  iOS 16 beta 5 ya está disponible para los desarrolladores antes del lanzamiento en septiembre
Continue Reading

Ciencia y tecnología

Google ahora vende teléfonos Pixel a precios con grandes descuentos gracias a su nuevo programa de reacondicionado certificado

Published

on

Google ahora vende teléfonos Pixel a precios con grandes descuentos gracias a su nuevo programa de reacondicionado certificado

Lo que necesitas saber

  • Google ha anunciado el lanzamiento y la disponibilidad de varios Pixel de generación anterior en su tienda a través del programa Teléfono reacondicionado certificado.
  • Los consumidores pueden obtener un Pixel 7, 7 Pro, 6, 6 Pro o 6a en Google Store hoy (28 de octubre) con piezas nuevas y originales y el último sistema operativo Android.
  • Google dice que trabajará para incorporar más generaciones de Pixel a este programa, pero probablemente pasará mucho tiempo antes de que aparezca el Pixel 9.

Google lanza un programa de teléfonos reacondicionados para consumidores que ofrece píxeles «asequibles»

en un Publicación de palabras claveGoogle ha anunciado el lanzamiento de su programa de teléfonos reacondicionados certificados para consumidores estadounidenses. Con el lanzamiento del programa, la compañía dice que los consumidores pueden explorar una selección de dispositivos Pixel 7, 7 Pro, 6, 6 Pro y 6a reacondicionados en Google Store. Sin embargo, esto parece ser solo el comienzo, ya que Google dice que la gente podrá volver más tarde para ver qué otras generaciones de Pixel se han agregado.

Continue Reading

Ciencia y tecnología

El nuevo Magic Mouse USB-C todavía tiene el puerto de carga en la parte inferior

Published

on

El nuevo Magic Mouse USB-C todavía tiene el puerto de carga en la parte inferior

Hay muchos memes en Internet sobre el Magic Mouse de Apple porque los usuarios tienen que darle la vuelta para enchufarlo al cargador. Pero si pensaba que Apple cambiaría eso con el lanzamiento del nuevo Magic Mouse hoy, tenemos malas noticias. Aunque ahora tiene USB-C, el puerto de carga todavía está en la parte inferior del mouse.

El puerto USB-C del nuevo Magic Mouse todavía está en la parte inferior

Junto con el nuevo iMac M4, Apple anunció el lunes nuevas versiones de sus accesorios «Magic» para Mac, incluidos un nuevo mouse, teclado y trackpad Magic. Como predijimos, las nuevas versiones son prácticamente iguales a las anteriores, excepto que ahora tienen un puerto de carga USB-C en lugar de Lightning.

Pero ¿qué pasa con uno de los aspectos más criticados del Magic Mouse? Aunque las imágenes de marketing de Apple no muestran el nuevo mouse desde muchos ángulos, el archivo 3D utilizado para obtener una vista previa del nuevo iMac en realidad aumentada confirma que el puerto de carga del Magic Mouse todavía está en la parte inferior.

Parte inferior del Magic Mouse USB-C

El primer Magic Mouse se presentó en 2009 y se distinguía por su superficie multitáctil. En ese momento, el mouse funcionaba con baterías extraíbles, por lo que los usuarios podían simplemente reemplazar las baterías y continuar usando el mouse. En 2015, Apple lanzó el Magic Mouse 2 con el mismo diseño, pero ahora con una batería interna recargable.

El puerto Lightning para cargar se ha colocado en la parte inferior del ratón, lo que ha generado muchas críticas por parte de los usuarios. No es posible utilizar el Magic Mouse 2 mientras se está cargando. Aunque muchos afirman que cargar el mouse solo toma unos minutos, este tiempo puede ser crítico cuando la batería se agota mientras está en funcionamiento.

READ  Kuo: los modelos de iPhone 15 Pro ya no contarán con botones de estado sólido

A lo largo de los años, muchas personas han propuesto diferentes soluciones para el diseño del Magic Mouse, entre ellas Cajas con el puerto en el lateral. o con Soporte para cargador Qi. El problema es que Apple impide que el Magic Mouse funcione cuando está encendido. Este no es el caso del Magic Keyboard o Trackpad, que se pueden utilizar mientras se carga.

Apple vende el nuevo Magic Mouse USB-C por 79 dólares en su sitio weby hay una versión en negro por $99 (aunque tienen el mismo hardware). La empresa no vende las versiones en color, que se envían con el iMac, por separado. Aún puedes comprar la versión Lightning con descuento en Amazon.

Leer también

FTC: Utilizamos enlaces de afiliados automáticos que generan ingresos. Más.

Continue Reading

Trending