novafarma/ai_image_gen/rtx.md

AI Image Generation na PC (Nvidia RTX)

Nvidia RTX kartice so industrijski standard za AI. Uporabljajo CUDA jedra, kar zagotavlja najhitrejše generiranje in najširšo podporo.

Priporočena Pot: ComfyUI (Windows/Linux)

1. Priprava Driverjev

• Posodobi Nvidia Studio ali Game Ready driverje na zadnjo verzijo.
• Namesti CUDA Toolkit (če delaš "ročno" namestitev, čeprav Torch to pogosto prinese s seboj).

2. Namestitev ComfyUI (Portable - Najlažje za Windows)

Če si na Windowsih, je najlažja pot "Portable" verzija, ki ima vse vključeno (Python, Torch, itd.).

1. Prenesi:

   • Pojdi na ComfyUI GitHub releases.
   • Prenesi ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z.

2. Razširi:

   • Odzipaj datoteko v C:\AI\ComfyUI (ali podobno mapo brez presledkov v imenu).

3. Zaženi:

   • Klikni run_nvidia_gpu.bat.

3. Ročna Namestitev (Linux / Advanced Windows)

1. Kloniraj repo:

   git clone https://github.com/comfyanonymous/ComfyUI
   

2. Virtualno okolje in Torch (CUDA verzija):

   python -m venv venv
   source venv/bin/activate  # ali venv\Scripts\activate na Win
   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
   

3. Ostalo:

   pip install -r requirements.txt
   python main.py
   

Uporaba Qwen Modelov na RTX

Ker imaš RTX kartico, lahko poganjaš polne (ne-kvantizirane) modele, če imaš dovolj VRAM-a (npr. 24GB na 3090/4090).

Qwen2-VL (Vision Language)

1. Custom Nodes:

   • Namesti ComfyUI-Qwen-VL-Chat preko ComfyUI Managerja (priporočam namestitev Managerja: git clone https://github.com/ltdrdata/ComfyUI-Manager v custom_nodes).

2. Modeli:

   • Prenesi modele iz HuggingFace (npr. Qwen/Qwen2-VL-7B-Instruct).
   • Shrani jih v ComfyUI/models/LLM (morda boš moral ustvariti mapo, odvisno od custom node-a).

VRAM Optimizacija

• RTX 3060 (12GB) / 4060 Ti (16GB): Uporabljaj fp16 ali int8 (kvantizirane) verzije modelov za hitrost in manjšo porabo spomina.
• RTX 3090 / 4090 (24GB): Lahko poganjaš večje modele (npr. 70B int4 ali 7B fp16) brez težav.

Ostale Možnosti za RTX

• Ollama: Odlično za tekstovne/chat modele (tudi Qwen), teče lokalno in podpira GPU pospeševanje avtomatsko.
• LM Studio: GUI za nalaganje GGUF modelov, zelo enostaven za uporabo na Windowsih.