RAG - Local
Projet RAG full local en TypeScript, avec Ollama, Qdrant et markdown embedding. Stack modulaire via .env pour s’adapter aux besoins des petites structures.
Détails du projet
Projet open source de Retrieval-Augmented Generation (RAG) développé en TypeScript, conçu pour fonctionner entièrement en local. La stack utilise Ollama pour les LLMs (BGEM3 pour l’embedding, Llama3 pour la pertinence, Koesn/Mistral-7b-Instruct ou Dolphin 3 pour la génération), un chunker maison en TypeScript, et Qdrant comme base de données vectorielle.
Le projet se distingue par sa modularité technique : tous les composants sont interchangeables via le fichier .env, facilitant l’adaptation selon les besoins spécifiques des utilisateurs, notamment les petites entreprises. La gestion des documents se fait via des dossiers Markdown, simplifiant l’ingestion et l’indexation.
Cette solution full local répond à des enjeux forts de confidentialité et sécurité des données, tout en offrant une architecture approfondie et modulaire, idéale pour mieux comprendre le fonctionnement de l’IA, ses besoins en ressources, et les architectures complexes associées.