Distillation – Chưng cất tri thức trong AI là gì?

Chưng Cất Là Gì?

Chưng cất là một kỹ thuật trong trí tuệ nhân tạo, trong đó một mô hình nhỏ hơn, hiệu quả hơn, có thể gọi là học trò, học cách bắt chước hành vi của một mô hình lớn hơn, tiên tiến hơn, gọi là “giáo viên”. Anh em có thể tưởng tượng nó giống như việc mình được ngồi vài tiếng đồng hồ nói chuyện với Albert Einstein và sau khi ra khỏi cuộc nói chuyện đó, anh em có được một lượng tri thức thông tuệ nhất định trong lĩnh vực vật lý.

Chưng cất mô hình trí tuệ nhân tạo

Trên thực tế, các công ty trí tuệ nhân tạo hàng đầu như OpenAI hay Anthropic đã phải chi hàng tỉ đô la để bắt đầu mọi thứ từ con số không: tự huấn luyện data, tự tối ưu hoá mô hình. Quy trình này thường tốn nhiều tháng, thậm chí nhiều năm để đạt được kết quả tối ưu. Tuy nhiên, bằng việc sử dụng quá trình chưng cất với việc tạo ra các đầu ra từ mô hình giáo viên và sử dụng chúng làm dữ liệu huấn luyện cho mô hình của mình, các nhà phát triển có thể tạo ra các mô hình gần như mạnh mẽ như bản gốc nhưng yêu cầu ít tài nguyên hơn để huấn luyện và triển khai.

Đột Phá Của DeepSeek

DeepSeek đã thành công trong việc sử dụng kỹ thuật chưng cất để tạo ra các mô hình AI cạnh tranh với chi phí thấp hơn nhiều so với các gã khổng lồ công nghệ như OpenAI, Anthropic hay Google. Mô hình hàng đầu của DeepSeek được phát triển bằng cách sử dụng kỹ thuật chưng cất trên các mô hình mã nguồn mở và có thể cả các mô hình độc quyền, đạt được hiệu suất cao với chi phí tối thiểu. Cách tiếp cận này cho phép DeepSeek sản xuất các mô hình rẻ hơn và nhanh hơn, thách thức quan niệm “càng lớn càng tốt” trong nghiên cứu AI.

Tại Sao Điều Này Gây Tranh Cãi?

Đầu tiên là tác động về mặt kinh tế. Như có đề cập ở trên, các công ty như OpenAI hay Anthropic đã tốn rất nhiều để tạo ra các mô hình hiện tại. Họ chi hàng tỉ đô la cho cơ sở hạ tầng, cho việc nghiên cứu và phát triển với kỳ vọng rằng những chi phí này sẽ mang lại lợi thế cạnh tranh. Tuy nhiên, chưng cất cho phép đối thủ sao chép phần lớn công việc này với chi phí thấp hơn nhiều, đặt ra câu hỏi về tính bền vững của những khoản đầu tư như vậy.

Cách tiếp cận của DeepSeek gây ra những tranh cãi lớn trong cộng đồng trí tuệ nhân tạo

Vấn đề tiếp theo là quan ngại về quyền sở hữu trí tuệ. OpenAI và một số công ty khác đã cáo buộc DeepSeek vi phạm điều khoản dịch vụ của họ bằng cách sử dụng các mô hình độc quyền để chưng cất mà không được phép. Điều này đã làm gây lên tranh luận về việc liệu chưng cất có phải là hành vi xâm phạm quyền sở hữu trí tuệ hay chỉ đơn giản là một phần không thể tránh khỏi trong quá trình phát triển AI mã nguồn mở. DeepSeek hiện không trả lời bất kì bình luận nào về cáo buộc này từ OpenAI.

Một vấn đề khác mà DeepSeek tạo ra trong những ngày qua là gián đoạn thị trường, bằng chứng là cổ phiếu của NVIDIA đã có một ngày đẫm máu khi sụt tới gần 17%. Hơn nữa, thành công của DeepSeek với chưng cất có thể dẫn đến cuộc đua giảm giá trong dịch vụ AI. Khi các công ty nhỏ hơn tái tạo khả năng tiên tiến với chi phí thấp hơn, sẽ khó khăn hơn cho các nhà lãnh đạo ngành biện minh cho giá cao hoặc đầu tư quy mô lớn.

Một vấn đề cuối cùng là những thách thức về mặt đạo đức và quy định. Việc sử dụng rộng rãi kỹ thuật chưng cất đã gây lên câu hỏi đạo đức về việc sử dụng hợp lý và tuân thủ các thỏa thuận cấp phép. Nó cũng nhấn mạnh sự cần thiết phải có khung pháp lý rõ ràng hơn để quản lý các hoạt động phát triển AI.

Hệ Quả Rộng Hơn

Hiện tại, thành công của DeepSeek đã thúc đẩy các công ty công nghệ tại thung lũng Silicon xem xét lại chiến lược của mình. Một số người cho rằng việc đi đầu sẽ không còn khả thi về mặt kinh tế nếu đối thủ có thể nhanh chóng sao chép với chi phí thấp. Ngoài ra, những người khác vẫn giữ niềm tin rằng việc nghiên cứu, phát triển, tối ưu vẫn sẽ mang lại lợi thế trong việc tạo ra những tính năng độc đáo mà không dễ dàng bị sao chép.