85 lines
2.7 KiB
Markdown
85 lines
2.7 KiB
Markdown
# AI Image Generation na MacOS (Apple Silicon M1/M2/M3/M4)
|
|
|
|
MacOS z Apple Silicon čipi (M4) ne podpira Nvidia CUDA, zato ne morete uporabljati "navadnih" navodil za Nvidia RTX. Namesto tega uporabljamo **MPS (Metal Performance Shaders)**, ki omogoča uporabo grafičnega čipa na M4 procesorju.
|
|
|
|
## Priporočena Pot: ComfyUI (Native ali Docker)
|
|
|
|
Najbolj robusten način za poganjanje naprednih AI modelov (kot je Qwen-VL ali Stable Diffusion z Qwen text encoderjem) na Macu je uporaba **ComfyUI**, ki ima odlično podporo za MacOS.
|
|
|
|
### 1. Namestitev (Python venv method)
|
|
|
|
To je "native" način, ki teče direktno na tvojem Macu.
|
|
|
|
**Predpogoji:**
|
|
- Python 3.10 ali 3.11 (priporočeno)
|
|
- Git
|
|
|
|
**Postopek:**
|
|
|
|
1. **Odpri Terminal** in pojdi v mapo, kjer želiš imeti program:
|
|
```bash
|
|
cd ~/repos/novafarma/ai_image_gen # ali kamorkoli želiš
|
|
```
|
|
|
|
2. **Kloniraj ComfyUI:**
|
|
```bash
|
|
git clone https://github.com/comfyanonymous/ComfyUI
|
|
cd ComfyUI
|
|
```
|
|
|
|
3. **Ustvari virtualno okolje:**
|
|
```bash
|
|
python3 -m venv venv
|
|
source venv/bin/activate
|
|
```
|
|
|
|
4. **Namesti torch za MacOS (Nightly build za najboljšo M4 podporo):**
|
|
```bash
|
|
pip install --pre torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/nightly/cpu
|
|
```
|
|
|
|
5. **Namesti ostale odvisnosti:**
|
|
```bash
|
|
pip install -r requirements.txt
|
|
```
|
|
|
|
6. **Zaženi:**
|
|
```bash
|
|
python main.py
|
|
```
|
|
|
|
### 2. Uporaba Qwen Modelov
|
|
|
|
Qwen (Qwen-VL ali Qwen2-VL) so primarno "Vision-Language" modeli. Če jih želiš uporabljati za generiranje slik ali "chatting with images":
|
|
|
|
1. Namesti **ComfyUI-Qwen-VL-Chat** (custom node):
|
|
- Pojdi v `ComfyUI/custom_nodes`
|
|
- `git clone https://github.com/StartInception/ComfyUI-Qwen-VL-Chat`
|
|
- `pip install -r requirements.txt` (znotraj venv)
|
|
|
|
2. **Prenesi model:**
|
|
- Modeli so ponavadi v `.gguf` formatu za Mac (manj RAM-a) ali originalni `transformers` format.
|
|
- Prenesi npr. `Qwen2-VL-7B-Instruct` iz HuggingFace.
|
|
|
|
## Alternativa: MLX (Apple Framework)
|
|
|
|
Za maksimalno hitrost na M4 čipu obstaja knjižnica **MLX** od Apple-a.
|
|
|
|
1. **Namestitev:**
|
|
```bash
|
|
pip install mlx-lm
|
|
```
|
|
|
|
2. **Uporaba:**
|
|
MLX ekipa redno porta Qwen modele.
|
|
```bash
|
|
# Primer za Qwen text model
|
|
python -m mlx_lm.generate --model Qwen/Qwen2.5-7B-Instruct-mlx --prompt "Hello"
|
|
```
|
|
Za slike (VL modeli) preveri `mlx-examples` repozitorij na GitHubu.
|
|
|
|
## Pomembno za M4 Uporabnike
|
|
|
|
- **RAM je VRAM:** Tvoj sistemski RAM (npr. 32GB ali 64GB) se uporablja kot video spomin. Zapri Chrome/Electron aplikacije, ko generiraš slike, da sprostiš spomin.
|
|
- **Toplota:** Dolgotrajno generiranje bo segrelo prenosnik/Mac Mini. To je normalno.
|