novafarma/ai_image_gen/apple.md

AI Image Generation na MacOS (Apple Silicon M1/M2/M3/M4)

MacOS z Apple Silicon čipi (M4) ne podpira Nvidia CUDA, zato ne morete uporabljati "navadnih" navodil za Nvidia RTX. Namesto tega uporabljamo MPS (Metal Performance Shaders), ki omogoča uporabo grafičnega čipa na M4 procesorju.

Priporočena Pot: ComfyUI (Native ali Docker)

Najbolj robusten način za poganjanje naprednih AI modelov (kot je Qwen-VL ali Stable Diffusion z Qwen text encoderjem) na Macu je uporaba ComfyUI, ki ima odlično podporo za MacOS.

1. Namestitev (Python venv method)

To je "native" način, ki teče direktno na tvojem Macu.

Predpogoji:

• Python 3.10 ali 3.11 (priporočeno)
• Git

Postopek:

1. Odpri Terminal in pojdi v mapo, kjer želiš imeti program:

   cd ~/repos/novafarma/ai_image_gen  # ali kamorkoli želiš
   

2. Kloniraj ComfyUI:

   git clone https://github.com/comfyanonymous/ComfyUI
   cd ComfyUI
   

3. Ustvari virtualno okolje:

   python3 -m venv venv
   source venv/bin/activate
   

4. Namesti torch za MacOS (Nightly build za najboljšo M4 podporo):

   pip install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu
   

5. Namesti ostale odvisnosti:

   pip install -r requirements.txt
   

6. Zaženi:

   python main.py
   

2. Uporaba Qwen Modelov

Qwen (Qwen-VL ali Qwen2-VL) so primarno "Vision-Language" modeli. Če jih želiš uporabljati za generiranje slik ali "chatting with images":

1. Namesti ComfyUI-Qwen-VL-Chat (custom node):

   • Pojdi v ComfyUI/custom_nodes
   • git clone https://github.com/StartInception/ComfyUI-Qwen-VL-Chat
   • pip install -r requirements.txt (znotraj venv)

2. Prenesi model:

   • Modeli so ponavadi v .gguf formatu za Mac (manj RAM-a) ali originalni transformers format.
   • Prenesi npr. Qwen2-VL-7B-Instruct iz HuggingFace.

Alternativa: MLX (Apple Framework)

Za maksimalno hitrost na M4 čipu obstaja knjižnica MLX od Apple-a.

1. Namestitev:

   pip install mlx-lm
   

2. Uporaba: MLX ekipa redno porta Qwen modele.

   # Primer za Qwen text model
   python -m mlx_lm.generate --model Qwen/Qwen2.5-7B-Instruct-mlx --prompt "Hello"
   

   Za slike (VL modeli) preveri mlx-examples repozitorij na GitHubu.

Pomembno za M4 Uporabnike

• RAM je VRAM: Tvoj sistemski RAM (npr. 32GB ali 64GB) se uporablja kot video spomin. Zapri Chrome/Electron aplikacije, ko generiraš slike, da sprostiš spomin.
• Toplota: Dolgotrajno generiranje bo segrelo prenosnik/Mac Mini. To je normalno.