Vào tuần trước, Meta đã công bố LLaMA, nỗ lực mới nhất của họ trong việc tạo ra một “mô hình ngôn ngữ lớn” kiểu GPT*. Nếu AI là tương lai của công nghệ, thì các công ty công nghệ lớn cần kiểm soát các mô hình của chính họ hoặc bị đối thủ bỏ lại phía sau. LLaMA tham gia GPT của OpenAI (được Microsoft cấp phép cho Bing và củng cố ChatGPT của OpenAI) và LaMDA của Google (sẽ cung cấp năng lượng cho Bard, đối thủ ChatGPT của nó) ở cấp cao hơn trong lĩnh vực này.
Mục tiêu của Meta không chỉ đơn giản là sao chép GPT. Nó nói rằng LLaMA là một "mô hình nhỏ hơn, hiệu suất cao hơn" so với các mô hình ngang hàng của nó, được xây dựng để đạt được thành tích hiểu và khớp nối tương tự với dấu chân nhỏ hơn về mặt điện toán* và do đó có tác động môi trường tương ứng nhỏ hơn. (Thực tế là nó rẻ hơn để chạy cũng không hại gì.)
Nhưng công ty cũng tìm cách tạo sự khác biệt cho mình theo một cách khác, bằng cách làm cho LLaMA trở nên "mở", ngầm chỉ ra rằng "OpenAI" là bất chấp thương hiệu của nó. Từ thông báo của nó:
Ngay cả với tất cả những tiến bộ gần đây trong các mô hình ngôn ngữ lớn, việc tiếp cận nghiên cứu đầy đủ với chúng vẫn còn hạn chế do các tài nguyên cần thiết để đào tạo và chạy các mô hình lớn như vậy. Quyền truy cập bị hạn chế này đã hạn chế khả năng của các nhà nghiên cứu trong việc hiểu cách thức và lý do các mô hình ngôn ngữ lớn này hoạt động, cản trở tiến trình nỗ lực cải thiện tính mạnh mẽ của chúng và giảm thiểu các vấn đề đã biết, chẳng hạn như sai lệch, độc tính và khả năng tạo ra thông tin sai lệch.
Bằng cách chia sẻ mã cho LLaMA, các nhà nghiên cứu khác có thể dễ dàng thử nghiệm các cách tiếp cận mới để hạn chế hoặc loại bỏ những vấn đề này trong các mô hình ngôn ngữ lớn.
Bằng cách phát hành LLaMA cho các nhà nghiên cứu sử dụng, Meta đã loại bỏ một trong những giới hạn chính đối với nghiên cứu AI học thuật: chi phí đào tạo LLM* rất lớn. Ba năm trước, mỗi đợt huấn luyện của GPT-3 được ước tính tiêu tốn từ 10 triệu đến 12 triệu USD. (OpenAI không tiết lộ chi phí thực tế, chỉ tiết lộ lượng tính toán được sử dụng cho một lần chạy riêng lẻ; nó cũng không tiết lộ cần bao nhiêu lần chạy để làm cho đúng, do tính chất thử và sai của lĩnh vực này.) Thẻ giá chỉ tăng lên kể từ đó, vì vậy bằng cách phát hành LLaMA cho các nhà nghiên cứu sử dụng, Meta đang cho phép họ tiết kiệm hàng triệu USD – hay thực tế hơn là mở ra triển vọng nghiên cứu cơ bản hoàn toàn.
Bằng cách tập trung vào tính hiệu quả, công ty cũng làm cho việc vận hành hệ thống trở nên rẻ hơn. Mô hình LLaMA tiên tiến nhất có 65 tỷ "tham số" (đại loại nhưng không hoàn toàn bằng số lượng đường kết nối trên mạng thần kinh rộng lớn* ở trung tâm của nó), chỉ bằng một phần ba kích thước của cậu bé béo nhất GPT-3, nhưng Meta cho biết hai là tương đương về khả năng. Kích thước nhỏ gọn đó có nghĩa là LLaMA có thể chạy trên các hệ thống rẻ hơn nhiều, thậm chí cả máy tính để bàn – nếu bạn có thể chịu được thời gian xử lý chậm.
Nhưng sự hào phóng của Meta không phải là vô hạn. Công ty cho biết: “Để duy trì tính toàn vẹn và ngăn chặn việc lạm dụng… quyền truy cập vào mô hình sẽ được cấp theo từng trường hợp cụ thể”. Ban đầu, nó bị chỉ trích về cách xét xử những trường hợp đó, với những cáo buộc về sự thiên vị của phương Tây đối với những người được coi là đủ điều kiện.
LLaMA bị rò rỉ
Nhưng những lời chỉ trích đó đã được đưa ra tranh luận vào cuối tuần, khi toàn bộ mô hình bị rò rỉ cho bất kỳ ai tải xuống. Ban đầu được đăng lên 4Chan, một liên kết đến bản sao BitTorrent của LLaMA cuối cùng đã được đưa lên GitHub, nơi một người dùng táo tợn đã thêm một ghi chú có vẻ chính thức khuyến khích những người khác sử dụng liên kết đó "để tiết kiệm băng thông của chúng tôi".
Còn quá sớm để nói vụ rò rỉ sẽ có ảnh hưởng gì. Mô hình hiện tại không thể sử dụng được đối với bất kỳ ai không có kỹ thuật nghiêm túc và máy tính cực kỳ mạnh mẽ hoặc sẵn sàng đốt vài trăm bảng cho hóa đơn lưu trữ đám mây. Cũng không rõ phản ứng của Meta sẽ như thế nào. Người phát ngôn của Meta cho biết: “Mục tiêu của Meta là chia sẻ các mô hình AI tiên tiến nhất với các thành viên của cộng đồng nghiên cứu để giúp chúng tôi đánh giá và cải thiện các mô hình đó”. "LLaMA đã được chia sẻ cho mục đích nghiên cứu, phù hợp với cách chúng tôi đã chia sẻ các mô hình ngôn ngữ lớn trước đây. Mặc dù không phải tất cả mọi người đều có thể truy cập mô hình và một số người đã cố gắng phá vỡ quy trình phê duyệt, nhưng chúng tôi tin rằng chiến lược phát hành hiện tại cho phép chúng tôi cân bằng giữa trách nhiệm và sự cởi mở.”
Điều đó để lại rất nhiều điều chưa nói. Nó sẽ ném các luật sư vào vấn đề và cố gắng nhét thần đèn trở lại vào lọ, hay nó sẽ nắm lấy vai trò tình cờ của mình với tư cách là nhà phát triển của thứ có khả năng nhanh chóng trở thành AI được triển khai rộng rãi nhất trên thế giới. Nếu là trường hợp thứ hai, chúng ta có thể sớm thấy cuộc cách mạng tương tự đối với LLM đã tấn công các trình tạo hình ảnh vào mùa hè năm ngoái. Dall-E 2 được ra mắt vào tháng 5 vừa qua, cho thấy một bước thay đổi về chất lượng tạo ảnh AI. (Đọc lại vấn đề TechScape về bản phát hành giúp mở mang tầm mắt về việc chúng ta đã đi được bao xa trong một thời gian ngắn như vậy.)
Nhưng Dall-E được kiểm soát bởi OpenAI, giống như ChatGPT, với quyền truy cập được kiểm soát cẩn thận. Mọi người biết điều gì đó lớn lao đang xảy ra nhưng bị hạn chế về khả năng thử nghiệm công nghệ, trong khi OpenAI trông giống như một người gác cổng sẽ thu hoạch tất cả các lợi ích thương mại của sáng tạo.
Sau đó, vào tháng 8, Stability AI đã phát hành Stable Diffusion. Về cơ bản được tài trợ hoàn toàn bằng tiền tiết kiệm của cựu giao dịch viên quỹ phòng hộ Emad Mostaque, Stable Diffusion là mã nguồn mở ngay từ ngày đầu tiên. Điều mà Meta vô tình làm, Stability AI đã cố ý làm, cho rằng nó sẽ có cơ hội thành công tốt hơn trong lĩnh vực này nếu nó bán dịch vụ trên mô hình miễn phí sử dụng, thay vì kiểm soát quyền truy cập bằng mọi giá.
Team Finverse tổng hợp
Theo dõi tiếp các bài viết của chúng tôi tại www.finverse.vn