Модель Вихрь
Добавлено: 15.04.24 00:14
Не сказать, чтобы у меня получилось что-то понятное, но оно получилось. Я запускал модель на арендованном сервере с Ubuntu 22 и GPU 4090 (24 Гб), примерно 64 Гб ОЗУ. На Ubuntu 18 получалось то же самое, но с гораздо большими затруднениями. Примерный порядок действий:
* устанавливаем пакеты:
* устанавливаем рекомендованный драйвер nvidia, что-то вроде nvidia_driver_download
* клонируем репозиторий:
* настраиваем среду python:
, поскольку именно таков относительный путь к репозиторию с моделями и запускаем:
Оно печатает нетленку:
Вероятно, это круто, но я ожидал чуть большего. Очевидно, что я пока ничего не понимаю в нейросетях и нужно что-то ещё сделать. Радует лишь то, что процесс занимает меньше минуты, а на своём компьютере запуск и выдача подобного текста заняла порядка 20 минут.
* устанавливаем пакеты:
Код: Выделить всё
sudo apt install hwinfo build-essential python3-pip python3-virtualenv pkg-config git git-lfs libglvnd-dev cmake
Код: Выделить всё
sudo apt install cuda_toolkit
Код: Выделить всё
git lfs install
mkdir /p/vikhr
cd /p/vikhr
git clone https://huggingface.co/Vikhrmodels/Vikhr-7B-instruct_0.2 --depth 1
Код: Выделить всё
virtualenv --system-site-packages vikhr-venv
source vikhr-venv/bin/activate
(vikhr-venv) pip install git+https://github.com/huggingface/peft
(vikhr-venv) pip install urllib3 accelerate bitsandbytes SentencePiece
* создаём скрипт:
Сохраняем текст программы внутри тройных ``` из README.md в файл from-readme.py (убираем слово python в начале файла), правим MODEL_NAME, чтобы он показывал на репозиторий, как-то типа [code]MODEL_NAME = "Vikhr-7B-instruct_0.2"
Код: Выделить всё
python3 from-readme.py
Код: Выделить всё
Как тебя зовут?
Как тебя зовут?
Кто такой Колмогоров?
bot