Stable Diffusion là gì?

Stable Diffusion là một mô hình trí tuệ nhân tạo (AI) thuộc loại text-to-image (chuyển từ mô tả văn bản sang hình ảnh) sử dụng kỹ thuật latent diffusion model (LDM), được phát triển bởi Stability AI cùng với cộng tác từ nhóm CompVis (LMU Munich) và Runway ML.

• Lần đầu ra mắt vào năm 2022.

• Hỗ trợ nhiều tác vụ ngoài hình ảnh từ văn bản: như inpainting (sửa phần ảnh), outpainting (mở rộng ảnh), image-to-image (chuyển ảnh sang ảnh khác) và có cả khả năng mở rộng sang video/3D trong hệ sinh thái.

• Một điểm nổi bật: mô hình cho phép người dùng cá nhân và nhà phát triển tải mã nguồn / trọng số (weights) hoặc sử dụng các giao diện, nên việc chạy trên máy cá nhân hoặc cloud đều khả thi.

• Về giấy phép (license): Ban đầu các phiên bản v1/v2 được phát hành dưới giấy phép CreativeML OpenRAIL-M. Gần đây với các phiên bản mới hơn (ví dụ SD3/3.5) đã sử dụng giấy phép cộng đồng và có phân mục doanh nghiệp nếu doanh thu vượt mốc.

Điểm nổi bật

• Tự do & mở rộng: Vì Stable Diffusion là mã nguồn mở (open-source) hoặc có phiên bản tải về, người dùng có khả năng tuỳ biến, chạy offline, thử nghiệm các mô hình hay fine-tune riêng.

• Chất lượng hình ảnh tốt: Mô hình có thể tạo ra hình ảnh chi tiết từ prompt văn bản, hoặc dựa vào ảnh đầu vào để tạo biến thể mới.

• Tính linh hoạt cao: Hỗ trợ nhiều loại tác vụ: text→image, image→image, inpainting/outpainting, có nhiều phiên bản (SD1.x, SD2.x, SDXL, SD3) với độ phân giải và chất lượng ngày càng tăng.

• Chi phí có thể rất thấp khi dùng đúng cách: So với các dịch vụ đóng (closed) chỉ dùng cloud, nếu bạn tự host hoặc dùng bản open source, chi phí có thể thấp hơn nhiều.

Điểm mạnh

• Tiếp cận rộng: Người dùng cá nhân, cộng đồng sáng tạo, developer đều có thể tiếp cận.

• Tùy biến mạnh: Bạn có thể fine-tune mô hình, thêm embedings, LoRA, custom dataset để tạo phong cách riêng.

• Chủ động hơn về dữ liệu & quyền sở hữu: Người dùng sở hữu quyền hình ảnh họ tạo ra (tuỳ giấy phép) và có thể điều chỉnh mô hình theo nhu cầu.

• Khả năng chạy trên phần cứng cá nhân: Với các bản như SD1.x hoặc SD2.x, nếu bạn có GPU cá nhân đủ mạnh, bạn có thể chạy offline mà không cần phụ thuộc 100% cloud.

Điểm yếu

• Yêu cầu kỹ thuật: Để sử dụng tối ưu (như tự host, chạy fine-tune, sử dụng GPU) thì bạn cần kiến thức kỹ thuật, phần cứng phù hợp.

• Chi phí tiềm tàng cao: Nếu bạn chạy ở độ phân giải lớn, sử dụng nhiều tác vụ, hoặc dùng GPU cloud, chi phí có thể tăng nhanh.

• Kết quả không ổn trong mọi tình huống: Ví dụ chân người, tay, chữ trong ảnh đôi khi model xử lý chưa hoàn hảo.

• Vấn đề bản quyền & đạo đức: Mặc dù người dùng có quyền sử dụng kết quả tạo ra, nhưng dữ liệu huấn luyện và cách sử dụng mô hình có gây tranh luận về bản quyền, đạo đức.