Differences
This shows you the differences between two versions of the page.
| Both sides previous revisionPrevious revisionNext revision | Previous revision | ||
| work:2024-6 [2024/02/06 01:24] – [Pesquisa] magsilva | work:2024-6 [2024/02/06 19:01] (current) – [Pesquisa] magsilva | ||
|---|---|---|---|
| Line 10: | Line 10: | ||
| * python -m venv .env | * python -m venv .env | ||
| * source .env/ | * source .env/ | ||
| - | * git config --global credential.helper store | ||
| * pip install huggingface_hub | * pip install huggingface_hub | ||
| * pip install datasets | * pip install datasets | ||
| Line 16: | Line 15: | ||
| * Configuração de bibliotecas úteis para uso com HuggingFace: | * Configuração de bibliotecas úteis para uso com HuggingFace: | ||
| * pip install ' | * pip install ' | ||
| + | * Configure o Git: | ||
| + | * git config --global credential.helper store | ||
| + | * git lfs install | ||
| + | * Obtenha o conjunto de dados: | ||
| + | * git clone https:// | ||
| + | * Obtenha o modelo: | ||
| + | * git clone https:// | ||
| * Carregue os dados, conforme instruído em https:// | * Carregue os dados, conforme instruído em https:// | ||
| * from datasets import load_dataset | * from datasets import load_dataset | ||
| * dataset = load_dataset(" | * dataset = load_dataset(" | ||
| + | * train_dataset = load_dataset(" | ||
| + | * valid_dataset = load_dataset(" | ||
| + | * test_dataset | ||
| + | * Com um pouco de atraso, mas li o email da Open AI sobre o AI2 LLM framework e o OLMo - Open Language Model (conteúdo completo em https:// | ||
| + | * OLMo - Open Language Model: https:// | ||
| + | * Dolma, que é o corpus aberto utilizado para criar o LLM: https:// | ||