Bài 21. Đo hiệu quả và lan ra cả đội

Hai câu hỏi của bài này:

1. Tôi có thật sự tiết kiệm được gì không, hay chỉ cảm giác?
2. Nếu có, làm sao để cả phòng cũng được như vậy mà không mất ba tháng?

Bài này dành cho tất cả mọi người, nhưng đặc biệt hữu ích nếu bạn là trưởng nhóm, quản lý, hoặc phụ
trách đào tạo.

Tình huống

Sau hai tháng, chị Linh cảm thấy mình "làm nhanh hơn nhiều". Giám đốc hỏi: nhanh hơn bao nhiêu?

Chị không trả lời được. Chị chỉ có cảm giác. Và cảm giác không đủ để công ty đầu tư thêm, cũng không
đủ để chị biết mình nên tập trung vào đâu tiếp.

Sau bài này chị nói được: "Ba việc lặp lại của tôi giảm từ 6 giờ 20 phút xuống 1 giờ 45 phút mỗi
tuần. Tổng tiết kiệm khoảng 18 giờ một tháng. Và bốn người trong nhóm đang dùng kỹ năng tôi viết, mỗi
người tiết kiệm khoảng 2 giờ mỗi tuần."

Mục tiêu bài học

• Đo được thời gian tiết kiệm bằng số, không bằng cảm giác
• Đọc được tab Thống kê và Cài đặt → Mức sử dụng, và hiểu token nghĩa là gì
• Viết được playbook cho phòng bạn
• Phát được kỹ năng cho đúng vai trò và nhóm
• Tránh 5 sai lầm khi nhân rộng

Phần 1. Đo bằng số

Cách đo đơn giản nhất và đáng tin nhất: phút, trước và sau. Không cần công cụ gì ngoài một bảng.

Ba lưu ý để con số đáng tin:

1. "Sau" phải tính cả thời gian bạn kiểm và sửa. Nếu agent làm 2 phút mà bạn sửa 15 phút, thì
"sau" là 17 phút, không phải 2.

2. Đo ít nhất ba lần rồi lấy trung bình. Lần đầu luôn chậm vì bạn còn mò.

3. Đo cả chất lượng, không chỉ thời gian. Thêm hai cột nếu cần:

Đôi khi giá trị lớn nhất không phải thời gian mà là chất lượng ổn định hơn: bản báo cáo nào cũng
đủ mục, không còn quên phần rủi ro.

Và đừng bỏ qua loại giá trị thứ ba: những việc trước đây bạn không làm vì không đủ thời gian, giờ
làm được. Ví dụ: trước đây không ai rà lại danh sách khách lâu không liên hệ; giờ việc đó chạy tự động
mỗi tuần. Cái này không hiện lên bảng "tiết kiệm phút" nhưng có thể là giá trị lớn nhất.

Phần 2. Đọc số liệu trong ứng dụng

Tab "Thống kê" ở Bảng điều khiển

Cho biết hoạt động thật của bạn: số phiên, số tin nhắn, lượng token, xu hướng token 7 ngày,
token theo mô hình 30 ngày, và các thành tựu (ví dụ: cuộc trò chuyện đầu tiên, 10 cuộc trò chuyện,
50 cuộc trò chuyện, 100 tin nhắn, 1 triệu token, tác vụ đầu tiên).

Cài đặt → Mức sử dụng

Cho biết lượng token bạn đã dùng, chia theo mô hình, với đầu vào, đầu ra, tổng, và chọn
được khoảng thời gian (1 ngày, 1 tuần, 1 tháng, 3 tháng, hoặc tuỳ chỉnh).

Token là gì, và đừng lấy nó làm mục tiêu

Token là đơn vị đo lượng chữ mà hệ thống xử lý. Một trang văn bản khoảng vài trăm tới hơn một nghìn
token. Nó phản ánh khối lượng công việc và chi phí, không phản ánh giá trị.

Đây là chỗ dễ hiểu sai và làm hỏng việc. Cụ thể:

Cách dùng đúng của số token: phát hiện bất thường. Nếu tuần này token gấp năm lần bình thường mà
kết quả không hơn, nghĩa là có một cuộc trò chuyện nào đó chạy vòng vo, hoặc một tác vụ định kỳ đang
làm việc vô ích. Đó là tín hiệu để bạn đi xem.

Chỉ số duy nhất đáng đưa vào báo cáo cho cấp trên: thời gian tiết kiệm và chất lượng.

Phần 3. Playbook cho phòng bạn

Playbook là tài liệu 2 tới 4 trang, đủ để một người mới trong phòng bạn dùng được AI trong ngày đầu.
Nội dung:

1. NĂM VIỆC PHÒNG MÌNH DÙNG AI
   Với mỗi việc: dùng để làm gì, dùng kỹ năng nào, câu gõ mẫu, kết quả trông thế nào.

2. NĂM VIỆC PHÒNG MÌNH KHÔNG DÙNG AI
   Kèm lý do. Phần này quan trọng bằng phần trên.

3. DỮ LIỆU: CÁI GÌ ĐƯỢC ĐƯA VÀO ĐÂU
   Bảng ba mức của bài 18, áp cho dữ liệu thật của phòng.

4. CÁC KHO TRI THỨC VÀ KỸ NĂNG CỦA PHÒNG
   Tên, dùng cho việc gì, ai phụ trách nội dung.

5. QUY TẮC KIỂM TRƯỚC KHI GỬI
   Danh sách kiểm của bài 17, rút gọn cho phòng bạn.

6. HỎI AI KHI VƯỚNG
   Tên người phụ trách trong phòng, và cách liên hệ.

Mục 2 và mục 5 là hai mục người ta hay bỏ và là hai mục cứu bạn. Mục 2 chặn việc dùng sai chỗ. Mục 5
chặn sự cố.

Cách viết playbook nhanh nhất: để agent viết bản đầu từ chính kinh nghiệm của bạn.

Tôi vừa dùng Redstone Agent 2 tháng cho công việc <vai trò của bạn>. Dựa trên các cuộc trò chuyện và
kỹ năng của tôi, hãy soạn một playbook cho phòng tôi theo 6 mục sau: <dán 6 mục ở trên>.
Với mỗi việc, ghi câu gõ mẫu cụ thể. Xuất thành tệp Word, tiếng Việt đủ dấu.

Rồi bạn sửa lại, vì bạn là người biết phòng mình.

Lưu playbook vào Không gian (bài 14) và chia sẻ cho nhóm, thay vì gửi tệp qua email. Lý do: nó sẽ
được cập nhật liên tục, và bạn không muốn 6 phiên bản khác nhau trôi nổi trong hộp thư mọi người.

Phần 4. Phát kỹ năng cho nhóm

Nếu bạn là quản trị viên, mở "Ứng dụng & công cụ" → Kỹ năng & quyền. Khu vực này để biến việc làm
tốt nhất của một người thành của mọi người.

Bảng kỹ năng cho biết: tên kỹ năng, chủ sở hữu, phạm vi (Riêng tư, Nhóm, Toàn tổ chức), và số
lượt dùng.

Cột lượt dùng là số quan trọng nhất trong bảng này. Một kỹ năng được phát cho 40 người mà chỉ có
12 lượt dùng sau một tháng nghĩa là nó không hợp việc, hoặc mô tả của nó không khớp cách người ta gõ
(bài 09). Hãy xem cột đó thay vì đoán.

Để phát: bấm "Phát một kỹ năng". Chọn:

Ứng dụng cho bạn thấy "Phạm vi ước tính" là bao nhiêu người. Đọc số đó trước khi bấm "Phát
ngay". Nếu con số lớn hơn bạn nghĩ, dừng lại xem lại vai trò và nhóm bạn đã chọn.

Chọn quyền thế nào:

Nguyên tắc như các bài trước: quyền sửa thì hẹp, quyền dùng thì rộng.

Phần 5. Năm sai lầm khi nhân rộng

Sai lầm 1. Đào tạo cả phòng cùng lúc, không có người tiên phong.
Kết quả: 20 người nghe một buổi, 3 người dùng, 17 người quên sau hai tuần.
Cách đúng: chọn 2 tới 3 người làm trước, cho họ một tháng, để họ tạo kho tri thức và kỹ năng thật. Rồi
mới mở rộng, và lúc đó người mới có sẵn thứ dùng được ngay.

Sai lầm 2. Không có kho tri thức dùng chung.
Mỗi người tự tải tài liệu của mình, 12 người có 12 bản sổ tay khác nhau, vài bản đã cũ.
Cách đúng: một kho tri thức của phòng, một người phụ trách nội dung, mọi người chỉ được xem.

Sai lầm 3. Phát kỹ năng rồi không ai xét duyệt cải tiến.
Sau ba tháng kỹ năng vẫn là bản đầu, đã lệch so với cách phòng bạn làm việc hiện tại. Hoặc tệ hơn: bật
tự động hợp nhất và nó âm thầm đổi mà không ai đọc.
Cách đúng: mỗi kỹ năng dùng chung có một người phụ trách, và người đó vào tab Xét duyệt mỗi tuần
một lần.

Sai lầm 4. Đo token thay vì đo thời gian.
Đã nói ở Phần 2. Nó khuyến khích hành vi sai.
Cách đúng: đo phút, và đo số lần bị trả lại.

Sai lầm 5. Bắt buộc mọi người dùng cho mọi việc.
Kết quả: người ta dùng cho những việc AI làm dở, kết quả tệ, và họ kết luận cả công cụ là vô dụng.
Cách đúng: đưa danh sách năm việc nên dùng và năm việc không nên dùng (mục 1 và 2 của
playbook). Người ta tin công cụ hơn khi bạn thừa nhận giới hạn của nó.

Phần 6. Đưa một đồng nghiệp mới vào

Quy trình 60 phút cho một người mới trong phòng bạn:

Ba mươi phút đầu quyết định việc người đó có dùng tiếp hay không. Đừng để họ tự mò.

Làm trên Redstone Agent

Thực hành 1: đo ba việc (15 phút).

Lập bảng đo cho ba việc lặp lại của bạn. Nếu bạn chưa ghi số "trước", hãy dùng ước lượng thật thà
và ghi rõ đó là ước lượng. Từ tuần này ghi số thật.

Thực hành 2: đọc số liệu của bạn (10 phút).

Mở tab Thống kê và Cài đặt → Mức sử dụng. Ghi ra:

• Bạn có bao nhiêu phiên và tin nhắn trong 30 ngày?
• Token 30 ngày, chia theo mô hình?
• Có ngày nào bất thường không? Nếu có, mở cuộc trò chuyện ngày đó xem có gì chạy vòng vo.

Thực hành 3: viết playbook (20 phút).

Dùng câu ở Phần 3 để agent soạn bản đầu, rồi bạn sửa. Bắt buộc tự viết mục 2 (năm việc không nên dùng)
và mục 6 (hỏi ai khi vướng), vì hai mục đó agent không biết.

Lưu vào Không gian, chia sẻ cho nhóm ở mức "Có thể xem".

Thực hành 4: kiểm phạm vi trước khi phát (10 phút, nếu bạn là quản trị viên).

Vào Kỹ năng & quyền, chọn một kỹ năng, chọn vai trò và nhóm, và đọc "Phạm vi ước tính". Ghi ra
con số. Nếu đúng ý, bấm "Phát ngay". Nếu không, điều chỉnh.

Một tuần sau, quay lại xem cột lượt dùng.

Thực hành 5: hướng dẫn một người (30 phút, nếu có thể).

Áp quy trình 60 phút ở Phần 6 với một đồng nghiệp thật. Ghi lại họ vướng ở đâu. Chỗ họ vướng chính là
chỗ playbook của bạn còn thiếu.

Làm trên ChatGPT

Việc đo lường và viết playbook dùng ChatGPT được, vì đây là việc câu chữ và suy nghĩ.

Câu hữu ích để thiết kế cách đo:

Tôi muốn đo hiệu quả của việc dùng AI trong công việc <vai trò của bạn>, để báo cáo cho cấp trên.
Thiết kế cho tôi một cách đo đơn giản mà đáng tin: đo cái gì, đo thế nào, trong bao lâu, và những sai
lầm nào khiến số đo bị thổi phồng. Tôi không có công cụ đo nào, chỉ có một bảng tính.

Câu cuối rất quan trọng: bạn muốn nó chỉ ra chỗ bạn có thể tự lừa mình.

Còn việc phát kỹ năng theo vai trò và nhóm, xem phạm vi ước tính, xem lượt dùng: chỉ có trên
Redstone, vì nó gắn với tổ chức và phân quyền của công ty bạn.

Bài tập

Thời gian: 50 phút.

1. Nộp bảng đo ba việc, có cả cột chất lượng.
2. Nộp con số tổng: bạn tiết kiệm bao nhiêu phút mỗi tuần, mỗi tháng.
3. Nộp playbook 6 mục cho phòng bạn, đã lưu trong Không gian và chia sẻ.
4. Ghi ra hai việc mà trước đây bạn không làm vì không đủ thời gian, giờ làm được.
5. Nếu là quản trị viên: phát một kỹ năng, ghi lại phạm vi ước tính và lượt dùng sau một tuần.
6. Viết ra: nếu phòng bạn mở rộng cho 10 người, ai là 2 người tiên phong và vì sao chọn họ?

Tiêu chí đạt:

• Một con số cụ thể về thời gian tiết kiệm, dựa trên ít nhất ba lần đo, không phải cảm giác.
• Playbook có đủ 6 mục, trong đó mục 2 và mục 6 do bạn tự viết.
• Bạn nói được: token dùng để làm gì và không dùng để làm gì.

Lỗi thường gặp

Tự kiểm tra

1. Cột "sau" trong bảng đo phải bao gồm những gì?
2. Ba loại giá trị bạn nên đo, ngoài thời gian?
3. Token đo cái gì, và vì sao không nên lấy nó làm mục tiêu?
4. Hai mục nào trong playbook mà agent không viết thay bạn được?
5. Con số nào bạn phải đọc trước khi bấm "Phát ngay"?
6. Vì sao đào tạo cả phòng cùng lúc thường thất bại?

Mang về

• Đo bằng phút, ba lần, và tính cả thời gian bạn kiểm và sửa.
• Token đo khối lượng, không đo giá trị. Đừng đưa vào báo cáo, và đừng đem so giữa người với người.
• Playbook phải có mục "năm việc không nên dùng AI". Đó là mục làm người ta tin bạn.
• Hai người tiên phong một tháng, rồi mới mở rộng. Đừng làm ngược.
• Quyền dùng thì rộng, quyền sửa thì hẹp. Và mỗi kỹ năng dùng chung phải có người phụ trách.

Bài tiếp theo

Bài 22. Dự án tốt nghiệp: trợ lý cho vai trò của bạn