*Tema mítico* : Deepseek lo cambia todo: cisne zaino en ciernes

Chapa de la Buena dijo:

Significa esto que las gpus de Nvidia ya pierden su utilidad? No sirven para correr Deepseek? O es que Deepseek corre igual de rápido en una gpu de Nvidia que en una gpu normal?

Hacer clic para expandir...

DeepSeek está entrenado con tarjetas Nvidia H800, qué son tarjetas tope de gama. Es una versión capada de las H100 que usa OpenAI para poder exportarse a China (ancho de banda de transferencia entre chips reducida a la mitad). Ahora mismo no hay nada que sea más que Nvidia para entrenamiento de LLMs, además de por el hardware, por el "compilador" con lo que se desarrolla todo (CUDA), qué es de NVidia y sólo funciona con tarjetas de Nvida.

El tema parece que está en que han conseguido entrentar modelos usando menos tiempo de cálculo, lo que se traduce para un mismo tiempo de entrenamiento necesitan menos tarjetas, con lo que pueden hacer un modelo similar a otros más grandes a menos coste. Pero si tuvieran más podrían hacer modelos todavía más potentes. No creo que influya mucho en Nvidia quitando la noticia, las grandes del sector seguirán comprando el mismo número de tarjetas.

Bailongo dijo:

Eso para correrla a nivel andar por casa. Ahora piensa en los costes para una empresa

Necesitarías un centro de datos y una mini central eléctrica lol

Hacer clic para expandir...

Te drojas?

Chapa de la Buena dijo:

La consecuencia que yo veo es que Deepseek va a "democratizar" la IA. Los servicios de IA podrán ser prestados por pequeñas empresas. Y va a haber una competencia feroz. Ya no harán falta grandes empresas con mucho capital, funcionando como monopolios y con grandes beneficios. Las grandes empresas del Nasdaq que eran candidatas a dominar los servicios de IA serán las más perjudicadas.

Hacer clic para expandir...

Lo "caro" de la IA no es el hardware ni la electricidad.

Lo realmente difícil es hacerse con una base de datos bien categorizada y de calidad.

Para cosas mundanas puede ser sencillo, pero para cosas menos habituales, más específicas y más complejas se necesitan muchos casos y mucho trabajo para tener una base de datos lo suficientemente grande como para entrenar un modelo de calidad.

Eso para una pequeña empresa es muy, muy difícil.

Lorenzo Ramirhez dijo:

Te drojas?

Hacer clic para expandir...

No me drogo, simplemente tienes que pensar un poco y extrapolar el coste para uso personal al coste de una empresa que procesa millones de peticiones diarias

NoSoyNadieNiNada dijo:

Los modelos en la nube no tienen futuro por el tema de la privacidad y la protección de datos. Ninguna empresa va a enviar datos de sus proyectos a ChatGPT por este motivo, de manera que harán falta modelos potentes pero que se ejecuten en local.

Hacer clic para expandir...

El debate es fortísimo a ese respecto. Hay muchos pasas atrás en el mundo del cloud porque no se pueden poner todos los datos y aplicaciones fuera de tu infraestructura. Los hyperscalers no firman contratos asumiendo penalizaciones por ejemplo por disponibilidad.
De un tiempo para esta parte parece que predomina el modelo o premise para cierto parque de instalaciones dando lugar a un fuerte intereses en soluciones de nube híbridas. En el mundo de la IA particularizada para los negocios concretos de las empresas, esa potencia de cálculo tiene que estar en local por lo que más adelante debe cuando esté más claro el impacto de la IA en el negocio ….. se prevé inversión de las empresas en su propia inteligencia artificial propia. Es la manera de decir izar la información y sacar una ventaja propia a la IA.
La IA no es para que desde tu casa pidas un viaje de vacaciones y el Operator de OpenAI simula que tú navegas por la aplicación de turno para el booking, no tampoco es para hacer los deberes de los niños en casa. El verdadero impacto de la IA estaría en lograr modelos de negocio y ventajas competitivas sostenibles en las empresas que mejor sepan usarla y sepan combinarla con la parte física de toda actividad y negocio para lograr esa milla extra que les pone por delante en el mercado.
Muchos olvidan que la economía digital es una parte de la economía global y que el resto es muy apreciable y fundamental para que funcione.
Es un tema que me apasione por aspectos que no vienen a cuento.
La IA es una herramienta más de los ebanistas de los negocios. Que el mueble sea top o vulgar sigue dependiendo del talento de quien usa las herramientas.

alv982 dijo:

DeepSeek está entrenado con tarjetas Nvidia H800, qué son tarjetas tope de gama. Es una versión capada de las H100 que usa OpenAI para poder exportarse a China (ancho de banda de transferencia entre chips reducida a la mitad). Ahora mismo no hay nada que sea más que Nvidia para entrenamiento de LLMs, además de por el hardware, por el "compilador" con lo que se desarrolla todo (CUDA), qué es de NVidia y sólo funciona con tarjetas de Nvida.

El tema parece que está en que han conseguido entrentar modelos usando menos tiempo de cálculo, lo que se traduce para un mismo tiempo de entrenamiento necesitan menos tarjetas, con lo que pueden hacer un modelo similar a otros más grandes a menos coste. Pero si tuvieran más podrían hacer modelos todavía más potentes. No creo que influya mucho en Nvidia quitando la noticia, las grandes del sector seguirán comprando el mismo número de tarjetas.

Hacer clic para expandir...

Eso es, los demorados se creen que esto hunden a open ai o grok, no, inanes


Los chinos acaban de desclasificar como hacer una AGI sin saberlo, el modelo deepseek más las granjas de datos usanos

El humano nunca fue para tanto

Bailongo dijo:

No me drogo, simplemente tienes que pensar un poco y extrapolar el coste para uso personal al coste de una empresa que procesa millones de peticiones diarias

Hacer clic para expandir...

Con lo de central eléctrica es pa matarte.

tracrium dijo:

Lo "caro" de la IA no es el hardware ni la electricidad.

Lo realmente difícil es hacerse con una base de datos bien categorizada y de calidad.

Para cosas mundanas puede ser sencillo, pero para cosas menos habituales, más específicas y más complejas se necesitan muchos casos y mucho trabajo para tener una base de datos lo suficientemente grande como para entrenar un modelo de calidad.

Eso para una pequeña empresa es muy, muy difícil.

Hacer clic para expandir...

Le dices a tu IA: guárdame internet en un diskete.

dischcatfish dijo:

GitHub - unclecode/crawl4ai: Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper

Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper - unclecode/crawl4ai

github.com

Hacer clic para expandir...

El narigudo gai de altman, tromp y los billones, ya pueden ponerse las pilas y sacar lo que tienen y construir de otra manera

Lorenzo Ramirhez dijo:

Con lo de central eléctrica es pa matarte.

Hacer clic para expandir...

Que si, ale, ya pasó.

Bailongo dijo:

Que si, ale, ya pasó.

Hacer clic para expandir...

Tío, que no sabes de lo que hablas jajajajajaj

Overcuñao, no necesitas ni la H para los servicios y outputearlos, que hay 9 modelos, tiras del qwq más pequeño y pista.

besugo, ponte con la oposición

a mi plin, yo siempre pongo 20 leuros para la tinta de mi maquina de escribir

dischcatfish dijo:

Le dices a tu IA: guárdame internet en un diskete.

GitHub - unclecode/crawl4ai: Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper

Crawl4AI: Open-source LLM Friendly Web Crawler & Scraper - unclecode/crawl4ai

github.com

Hacer clic para expandir...

Te pongo un ejemplo concreto:
Quiero entrenar un modelo de segmentación 3D de fracturas de cráneo humano a partir de TACs con una resolución de voxel de 1x1x1mm.

Para entrenar el modelo necesitaré:
- Entrada: Miles de TCs de fracturas de cráneo en humanos con esa resolución. Difícil porque son relativamente pocos casos y están en las intranets de los PACs de los distintos hospitales.
- Salida: Segmentaciones de esos TACs para entrenar ese modelo en concreto. No hay. Hay que hacerlas a mano y hacer cada una de ellas es un trabajo de ne.gros. Necesitas a un ejército de machacas que las haga.

Las conclusiones que saco sobre todo lo ocurrido con DeepSeek es que las tecnológicas que estan actualmente desarrollando la IA no sean las grandes beneficiadas en el desarrollo de la IA y que sufran consecuencias similares a las que tuvieron las empresas de telecomunicaciones con el auge de Internet.

A finales de los 90, cuando internet empezaba a expandirse, la mayoría creía que las empresas de telecomunicaciones serían las grandes triunfadoras. Las telecos se enfocaron principalmente en construir y mantener la infraestructura necesaria para conectar a los usuarios a internet (redes, cables, etc.). Sin embargo, fueron las empresas tecnológicas las que desarrollaron los servicios y aplicaciones que realmente lograron beneficios con el crecimiento de internet.

Veo que las empresas que desarrollen aplicaciones y servicios basados en IA (industriales, farmaceuticas...) serán las más beneficiadas y no las que ofrezcan los modelos de IA ya que al final se terminará democratizando.

DeepSeek (IA China):

DeepSeek - Tecnológicas - Bolsa: