Ngày 04/6/2024 Giảng viên Khoa Công nghệ thông tin đã cùng tìm hiểu và chia sẻ học thuật Journal Cub bài “Learning Transformer Programs” của tác giả Dan Friedman, Alexander Wettig, Danqi Chen – Đăng trên trang https://proceedings.neurips.cc/
Advances in Neural Information Processing Systems 36 (NeurIPS 2023)

Tập thể giảng viên Khoa Công nghệ thông tin tham dự chuyên đề

Đây là một trong những hoạt động thường xuyên và bổ ích của giảng viên trong Khoa, nhằm cập nhật những kiến thức mới, bắt kịp xu hướng công nghệ hiện tại.

Bài báo trình bày về giải pháp "RASP [Weiss et al., 2021], a programming language that can be compiled into Transformer weights" một giải pháp được nâng cấp lên từ những phiên bản trước đó.

Giảng viên thảo luận xung quanh các vấn đề được nêu trong bài báo.

Thay vì biên dịch các chương trình do con người viết thành Transformers, nhóm tác giả đã thiết kế một Transformer đã sửa đổi có thể được đào tạo bằng cách sử dụng tối ưu hóa dựa trên độ dốc và sau đó tự động chuyển đổi thành một chương trình riêng biệt mà con người có thể đọc được. nhóm tác giả gọi những mô hình này là Transformer Programs. 

Bài báo được trích nguồn tại: https://proceedings.neurips.cc/paper_files/paper/2023/hash/995f693b73050f90977ed2828202645c-Abstract-Conference.html