Romualdo Vespucio
Creador de mi Eutopía
- Desde
- 16 May 2023
- Mensajes
- 858
- Reputación
- 2.294
Hay diferentes técnicas para eso, lo ideal es el llamado "fine-tuning" que modifica la estructura del modelo pero requiere bastante trabajo de proceso, hasta hace no mucho era casi imposible hacerlo localmente y había que recurrir a alquilar tarjetas NVidia profesionales pero han aparecido técnicas nuevas (ej LoRA) que han simplificado mucho el proceso y creo que ahora sí se puede hacer localmente con una tarjeta de rango medio-alto, aunque esto es algo que nunca he hecho aún pero tengo en mi lista de tareas pendientes.
Luego está el llamado RAG que utiliza una base de datos (y modelo) paralelos al LLM y tiene como ventaja que es mucho más rápido y fácil de crear pero a cambio pierde eficiencia.
Yo le preguntaría a una IA grande tipo ChatGPT que te explique, los interfaces de IAs locales más avanzados hace tiempo que incluyen RAG de serie por lo que puedes subir tus propios documentos y preguntar a la IA sobre ellos, a mí personalmente no me ha funcionado demasiado bien pero hace tiempo que no estoy en ese tema.
Proyectos recomendados: LM Studio, jan.ai como aplicaciones locales soportan RAG aunque es una característica en beta en ambos, y en el navegador son bastante populares oobabooga y también openwebui
Última edición:
