66 lines
2.4 KiB
Markdown
66 lines
2.4 KiB
Markdown
# AI Image Generation na PC (Nvidia RTX)
|
|
|
|
Nvidia RTX kartice so industrijski standard za AI. Uporabljajo **CUDA** jedra, kar zagotavlja najhitrejše generiranje in najširšo podporo.
|
|
|
|
## Priporočena Pot: ComfyUI (Windows/Linux)
|
|
|
|
### 1. Priprava Driverjev
|
|
|
|
- Posodobi Nvidia Studio ali Game Ready driverje na zadnjo verzijo.
|
|
- Namesti **CUDA Toolkit** (če delaš "ročno" namestitev, čeprav Torch to pogosto prinese s seboj).
|
|
|
|
### 2. Namestitev ComfyUI (Portable - Najlažje za Windows)
|
|
|
|
Če si na Windowsih, je najlažja pot "Portable" verzija, ki ima vse vključeno (Python, Torch, itd.).
|
|
|
|
1. **Prenesi:**
|
|
- Pojdi na [ComfyUI GitHub releases](https://github.com/comfyanonymous/ComfyUI/releases).
|
|
- Prenesi `ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z`.
|
|
|
|
2. **Razširi:**
|
|
- Odzipaj datoteko v `C:\AI\ComfyUI` (ali podobno mapo brez presledkov v imenu).
|
|
|
|
3. **Zaženi:**
|
|
- Klikni `run_nvidia_gpu.bat`.
|
|
|
|
### 3. Ročna Namestitev (Linux / Advanced Windows)
|
|
|
|
1. Kloniraj repo:
|
|
```bash
|
|
git clone https://github.com/comfyanonymous/ComfyUI
|
|
```
|
|
2. Virtualno okolje in Torch (CUDA verzija):
|
|
```bash
|
|
python -m venv venv
|
|
source venv/bin/activate # ali venv\Scripts\activate na Win
|
|
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
|
|
```
|
|
3. Ostalo:
|
|
```bash
|
|
pip install -r requirements.txt
|
|
python main.py
|
|
```
|
|
|
|
## Uporaba Qwen Modelov na RTX
|
|
|
|
Ker imaš RTX kartico, lahko poganjaš polne (ne-kvantizirane) modele, če imaš dovolj VRAM-a (npr. 24GB na 3090/4090).
|
|
|
|
### Qwen2-VL (Vision Language)
|
|
|
|
1. **Custom Nodes:**
|
|
- Namesti `ComfyUI-Qwen-VL-Chat` preko ComfyUI Managerja (priporočam namestitev Managerja: `git clone https://github.com/ltdrdata/ComfyUI-Manager` v `custom_nodes`).
|
|
|
|
2. **Modeli:**
|
|
- Prenesi modele iz HuggingFace (npr. `Qwen/Qwen2-VL-7B-Instruct`).
|
|
- Shrani jih v `ComfyUI/models/LLM` (morda boš moral ustvariti mapo, odvisno od custom node-a).
|
|
|
|
### VRAM Optimizacija
|
|
|
|
- **RTX 3060 (12GB) / 4060 Ti (16GB):** Uporabljaj `fp16` ali `int8` (kvantizirane) verzije modelov za hitrost in manjšo porabo spomina.
|
|
- **RTX 3090 / 4090 (24GB):** Lahko poganjaš večje modele (npr. 70B int4 ali 7B fp16) brez težav.
|
|
|
|
## Ostale Možnosti za RTX
|
|
|
|
- **Ollama:** Odlično za tekstovne/chat modele (tudi Qwen), teče lokalno in podpira GPU pospeševanje avtomatsko.
|
|
- **LM Studio:** GUI za nalaganje GGUF modelov, zelo enostaven za uporabo na Windowsih.
|