Вече на п-п-р

Сайга запустилась. Шустро (в несколько раз быстрее, чем на моём CPU) отвечает на вопрос "Кто такой Колмогоров" и даже может написать факториал на Питоне.

https://colab.research.google.com/drive ... av_ZcKatlP - это colab от https://huggingface.co/IlyaGusev/saiga_7b_lora

Там написан вывод nvidia-smi:

Действуем по первому методу вот отсюда:

https://gist.github.com/eliazonta/e98a4 ... 58984e3e5a

В общем, удалось записать процедуру запуска Сайги с помощью GPU, нужно 8 Гб памяти на борту видеокарты.