Страница 1 из 1

Сайга

Добавлено: 15.04.24 11:30
БудДен
Сайга запустилась. Шустро (в несколько раз быстрее, чем на моём CPU) отвечает на вопрос "Кто такой Колмогоров" и даже может написать факториал на Питоне.

Re: Сайга

Добавлено: 18.04.24 01:18
БудДен
https://colab.research.google.com/drive ... av_ZcKatlP - это colab от https://huggingface.co/IlyaGusev/saiga_7b_lora

Там написан вывод nvidia-smi:

Код: Выделить всё

 NVIDIA-SMI 525.85.12    Driver Version: 525.85.12    CUDA Version: 12.0

Re: Сайга

Добавлено: 18.04.24 02:01
БудДен
Действуем по первому методу вот отсюда:

https://gist.github.com/eliazonta/e98a4 ... 58984e3e5a

Re: Сайга

Добавлено: 18.04.24 04:14
БудДен

Re: Сайга

Добавлено: 18.04.24 16:41
БудДен
В общем, удалось записать процедуру запуска Сайги с помощью GPU, нужно 8 Гб памяти на борту видеокарты.