Differences
This shows you the differences between two versions of the page.
| Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
| work:2024-6 [2024/02/06 01:08] – magsilva | work:2024-6 [2024/02/06 19:01] (current) – [Pesquisa] magsilva | ||
|---|---|---|---|
| Line 5: | Line 5: | ||
| * Uso do conjunto de dados do artigo " | * Uso do conjunto de dados do artigo " | ||
| * Instalação do ROCM para utilização com o pyTorch: https:// | * Instalação do ROCM para utilização com o pyTorch: https:// | ||
| + | * Instalação do pyTorch | ||
| + | * Configuração do HuggingFace, | ||
| + | * Gere um token em https:// | ||
| + | * python -m venv .env | ||
| + | * source .env/ | ||
| + | * pip install huggingface_hub | ||
| + | * pip install datasets | ||
| + | * huggingface-cli login | ||
| + | * Configuração de bibliotecas úteis para uso com HuggingFace: | ||
| + | * pip install ' | ||
| + | * Configure o Git: | ||
| + | * git config --global credential.helper store | ||
| + | * git lfs install | ||
| + | * Obtenha o conjunto de dados: | ||
| + | * git clone https:// | ||
| + | * Obtenha o modelo: | ||
| + | * git clone https:// | ||
| + | * Carregue os dados, conforme instruído em https:// | ||
| + | * from datasets import load_dataset | ||
| + | * dataset = load_dataset(" | ||
| + | * train_dataset = load_dataset(" | ||
| + | * valid_dataset = load_dataset(" | ||
| + | * test_dataset | ||
| + | * Com um pouco de atraso, mas li o email da Open AI sobre o AI2 LLM framework e o OLMo - Open Language Model (conteúdo completo em https:// | ||
| + | * OLMo - Open Language Model: https:// | ||
| + | * Dolma, que é o corpus aberto utilizado para criar o LLM: https:// | ||