Skip to content

desashuno/Token_probability_analyzer

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

4 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Token probability analyzer

Descripción

Este proyecto es una herramienta que utiliza la librería Transformers y PyTorch para cargar modelos de generación de lenguaje, generar texto y analizar las probabilidades de los tokens generados. El programa permite obtener información detallada sobre los pasos durante la generación de texto, ayudando a comprender el comportamiento del modelo.

Instalación de PyTorch

Para ejecutar este programa, es necesario instalar PyTorch. Se recomienda seguir las instrucciones oficiales en https://pytorch.org o instalarlo mediante pip utilizando el siguiente comando (asegurándose de ajustar la versión a su entorno):

pip install torch

Uso

  1. Clona el repositorio o descarga los archivos.
  2. Instala las dependencias, incluidas Transformers y PyTorch.
  3. Ejecuta el programa principal:
python logits.py

About

Analizador de Probabilidades para Modelos de Lenguaje (LLM)

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages