Bài 17. Kiểm chứng: khi nào agent nói sai và cách bắt lỗi

Mọi bài trước dạy bạn làm được nhiều hơn. Bài này dạy bạn không bị đốt vì cái mình vừa làm được.

Đây là bài quyết định bạn dùng AI được lâu hay không. Người dùng AI bị mất niềm tin của cấp trên một
lần vì một con số bịa thì thường bỏ hẳn công cụ. Người biết kiểm thì dùng được cả đời.

Tình huống

Anh Phong gửi cho giám đốc một báo cáo do agent làm, rất đẹp, có biểu đồ, có trích dẫn. Trong đó có
một câu: "Theo quy định hiện hành, doanh nghiệp được trích tối đa 15% quỹ dự phòng."

Giám đốc, vốn là người làm tài chính 20 năm, đọc tới đó và hỏi: "Quy định nào?"

Anh Phong không biết. Anh mở nguồn agent dẫn ra, và trong đó không có con số 15% nào cả.

Cả báo cáo có 40 câu đúng và 1 câu sai. Nhưng từ hôm đó giám đốc đọc mọi thứ anh gửi với thái độ khác.

Bài này để chuyện đó không xảy ra với bạn.

Mục tiêu bài học

• Nhận ra 6 dạng sai điển hình, và biết dạng nào nguy hiểm nhất
• Áp dụng quy tắc 3 lớp kiểm
• Điều chỉnh mức kiểm theo mức rủi ro, để không kiểm thừa và không kiểm thiếu
• Dùng được 5 kỹ thuật ép agent tự bộc lộ chỗ yếu
• Có một danh sách kiểm cho từng loại sản phẩm bạn hay làm

Phần 1. Sáu dạng sai

Dạng 1. Bịa dữ kiện, rất tự tin

Nó không có thông tin nhưng vẫn viết ra một câu nghe hợp lý. Đây là dạng phổ biến nhất và nguy hiểm
nhất, vì không có dấu hiệu gì trong giọng văn.

Ví dụ: bạn hỏi công ty đối tác thành lập năm nào, nó nói một năm cụ thể mà không có nguồn.

Cách phòng: luôn thêm câu cho phép nó nói không biết.

Dạng 2. Trích dẫn không khớp nội dung

Nguy hiểm hơn dạng 1, vì có trích dẫn nên bạn tin. Nhưng mở nguồn ra thì trong đó không nói điều đó,
hoặc nói ở mức khác.

Đây đúng là chuyện đã xảy ra với anh Phong.

Cách phòng: mở ít nhất một nguồn ra kiểm, cho mọi tài liệu quan trọng. Không phải kiểm hết, chỉ
cần kiểm những khẳng định quan trọng nhất.

Dạng 3. Số sai hoặc đơn vị sai

Cộng thiếu một dòng, lấy sai cột, hoặc lẫn giữa triệu và tỷ, giữa đồng và nghìn đồng. Với số liệu
Việt Nam thì lỗi đơn vị đặc biệt hay xảy ra.

Cách phòng: kiểm tổng, kiểm hai điểm cực, kiểm đơn vị (bài 11).

Dạng 4. Lấy quy định chung áp cho công ty bạn

Nó biết luật chung, không biết nội quy công ty bạn. Nên nó trả lời theo luật chung, và nghe rất đúng.

Đây là chuyện của chị Loan ở bài 05, và là lý do bài 07 tồn tại.

Cách phòng: có kho tri thức nội bộ, và ép nguồn về kho đó.

Dạng 5. Suy diễn nguyên nhân như thể đã biết

Dữ liệu chỉ cho biết "chi phí tháng 6 tăng 34%". Nó viết "do giá nguyên vật liệu tăng". Dữ liệu không
nói điều đó, nó suy ra.

Nguy hiểm vì nghe hợp lý, và bạn có thể ra quyết định dựa trên một nguyên nhân bịa.

Cách phòng: luôn yêu cầu tách rõ "dữ liệu cho biết" và "tôi suy đoán".

Dạng 6. Đồng ý với bạn dù bạn sai

Bạn nói "tôi nghĩ vấn đề là do khâu vận chuyển", và nó hưởng ứng theo, kể cả khi dữ liệu chỉ hướng
khác. Nó có xu hướng làm bạn hài lòng.

Dạng này khó thấy nhất, vì nó xác nhận điều bạn vốn đã tin.

Cách phòng: hỏi theo cách trung tính, và định kỳ bắt nó phản biện chính bạn.

Bảng tổng hợp

Phần 2. Quy tắc 3 lớp kiểm

Áp cho mọi sản phẩm bạn định giao cho người khác.

Lớp 1. Kiểm nguồn (1 phút).

• Nhật ký "Xem những gì đã làm" cho thấy nó đã tra ở đâu?
• Nguồn đó có phù hợp với câu hỏi không? (Câu hỏi nội bộ mà nguồn là web thì đã sai lớp này.)
• Nếu nhật ký trống mà nội dung rất chi tiết, dừng lại và ép nguồn.

Lớp 2. Kiểm số và khẳng định (3 tới 5 phút).

• Chọn hai khẳng định quan trọng nhất. Mở nguồn ra đối chiếu.
• Kiểm tổng, hai giá trị cực, và đơn vị.
• Tìm mọi câu có "theo quy định", "theo thông lệ", "thường thì": đây là các câu hay bịa nhất.

Lớp 3. Kiểm bằng đầu bạn (2 phút).

• Có gì trái với những gì bạn biết về công việc của mình?
• Có kết luận nào quá thuận với điều bạn vốn muốn tin?
• Nếu người khó tính nhất trong công ty đọc bản này, họ sẽ hỏi câu gì? Bạn trả lời được không?

Lớp 3 là lớp không thể thay thế. Agent không biết công việc của bạn như bạn.

Phần 3. Mức kiểm theo mức rủi ro

Kiểm hết mọi thứ thì bạn mất hết thời gian vừa tiết kiệm. Điều chỉnh theo rủi ro:

Nguyên tắc: thời gian kiểm tỷ lệ với hậu quả nếu sai, không tỷ lệ với độ dài của sản phẩm.

Phần 4. Năm kỹ thuật ép agent bộc lộ chỗ yếu

Kỹ thuật 1. Cho nó đường nói "không biết"

Câu này nên có trong mọi yêu cầu về dữ liệu thật:

Nếu bạn không có dữ liệu cho một phần nào, hãy ghi rõ "không có dữ liệu" ở đúng chỗ đó. Không suy
đoán, không lấy từ kiến thức chung để lấp chỗ trống.

Kỹ thuật 2. Bắt tách "biết" và "đoán"

Trong bản này, tách rõ hai phần: (A) những gì dữ liệu trực tiếp cho biết, (B) những gì bạn suy đoán.
Với mỗi mục ở phần B, ghi rõ cần dữ liệu gì để xác nhận.

Đây là kỹ thuật đáng giá nhất cho các báo cáo phân tích.

Kỹ thuật 3. Tự chấm độ tin cậy

Với mỗi khẳng định trong bản này, đánh dấu mức chắc chắn: [chắc chắn, có nguồn], [khá chắc, suy ra từ
dữ liệu], [không chắc, cần kiểm]. Liệt kê riêng ở cuối những mục [không chắc].

Danh sách ở cuối chính là danh sách kiểm của bạn. Nó giúp bạn kiểm đúng chỗ thay vì đọc lại cả bài.

Kỹ thuật 4. Bắt phản biện chính nó

Bây giờ đóng vai một người phản biện khó tính: <người khó tính nhất sẽ đọc bản này>. Chỉ ra 5 chỗ yếu
nhất, 5 câu người đó sẽ chất vấn, và những chỗ nào trong bản này bạn thực ra không có bằng chứng chắc.

Kỹ thuật 5. Hỏi lại độc lập trong cuộc trò chuyện mới

Dùng cho những khẳng định quan trọng nhất. Mở Trò chuyện mới (không có ngữ cảnh cũ) và hỏi lại
theo cách trung tính, không nhắc câu trả lời trước:

<câu hỏi>. Trả lời dựa trên nguồn, và ghi rõ nguồn.

Nếu hai lần trả lời khác nhau, bạn biết chỗ đó không đáng tin.

Quan trọng: hỏi trung tính. Đừng hỏi "có phải mức trích tối đa là 15% không?" vì cách hỏi đó
gợi ý câu trả lời (đây là dạng sai số 6). Hãy hỏi "mức trích tối đa là bao nhiêu, theo quy định nào?"

Một biến thể mạnh hơn: hỏi lại cùng câu đó trên ChatGPT. Hai hệ thống khác nhau cùng cho một đáp
án thì độ tin cậy cao hơn nhiều. (Lưu ý bảo mật ở bài 18: chỉ làm với câu hỏi không chứa dữ liệu nội bộ.)

Phần 5. Danh sách kiểm theo loại sản phẩm

Lưu bảng này và dùng thật.

Báo cáo có số liệu:

• Mọi con số có nguồn, và tôi đã kiểm ít nhất 3 con số
• Tổng khớp với tệp gốc
• Đơn vị đúng và ghi rõ (triệu, tỷ, đồng)
• Kỳ so sánh đúng (cùng kỳ năm trước, hay tháng trước)
• Phần nguyên nhân đã tách rõ "dữ liệu cho biết" và "suy đoán"
• Không có câu "theo quy định" nào mà tôi chưa kiểm

Thư hoặc tin nhắn gửi ra ngoài:

• Đúng tên người nhận, đúng chức danh, đúng cách gọi
• Mọi con số, ngày, mã đơn hàng đều đúng
• Không cam kết gì tôi chưa có quyền cam kết
• Không tiết lộ thông tin nội bộ không nên nói
• Tôi đọc lại một lần với tâm thế người nhận

Tài liệu dựa trên quy định:

• Mọi quy định được dẫn có tên văn bản và ngày hiệu lực
• Tôi đã kiểm ít nhất một văn bản gốc
• Đã đối chiếu với nội quy công ty, không chỉ luật chung
• Nếu có yếu tố pháp lý: người có chuyên môn đã đọc

Slide trình bày:

• Số trên slide khớp với báo cáo gốc
• Không có chữ tràn khỏi slide, tiếng Việt đủ dấu
• Mỗi slide có một thông điệp, không phải một đống chữ
• Tôi trả lời được mọi câu hỏi có thể bật ra từ mỗi slide

Làm trên Redstone Agent

Thực hành 1: tìm cho được một lỗi thật (15 phút).

Đây là bài thực hành quan trọng nhất. Bạn phải tự tay bắt được một lỗi, mới tin là nó có thật.

1. Lấy một sản phẩm agent đã làm cho bạn trong các bài trước, loại có số liệu hoặc có dẫn quy định.
2. Áp dụng đủ 3 lớp kiểm.
3. Ghi lại: bạn tìm thấy gì? Thuộc dạng sai nào trong 6 dạng?

Nếu bạn không tìm thấy lỗi nào, làm tiếp bước 4:

1. Hỏi một câu về một chủ đề rất hẹp, ít tài liệu công khai:

Cho tôi biết <một quy định rất cụ thể của ngành bạn, hoặc một con số rất hẹp>, kèm tên văn bản và
ngày hiệu lực.

Rồi mở văn bản nó dẫn ra kiểm. Đây là chỗ dạng sai số 2 hay xuất hiện nhất.

Thực hành 2: bốn kỹ thuật, cùng một bản (15 phút).

Lấy một báo cáo bạn đã làm. Chạy lần lượt kỹ thuật 2, 3, 4 trên nó. Ghi lại: mỗi kỹ thuật lộ ra thêm
được điều gì mà bạn chưa thấy?

Thực hành 3: hỏi lại độc lập (10 phút).

Chọn khẳng định quan trọng nhất trong sản phẩm đó. Hỏi lại trong Trò chuyện mới, bằng câu trung
tính. So hai câu trả lời.

Thực hành 4: kiểm thiên vị đồng ý (5 phút).

Trong một cuộc trò chuyện mới, nói một điều sai có chủ ý về công việc của bạn, và xem nó có phản
đối không:

Theo tôi thì <một nhận định sai mà bạn biết là sai>. Bạn thấy đúng không? Nếu tôi sai thì nói thẳng
là tôi sai, và chỉ ra vì sao.

Câu "nếu tôi sai thì nói thẳng" là câu bạn nên dùng thường xuyên khi bàn chuyện quan trọng.

Làm trên ChatGPT

Cả 6 dạng sai và cả 5 kỹ thuật đều áp dụng y nguyên cho ChatGPT. Hai điểm riêng:

1. ChatGPT ít có nguồn nội bộ, nên với câu hỏi về công ty bạn, tỷ lệ dạng sai số 4 (lấy quy định
   chung) rất cao. Đừng dùng nó cho câu hỏi nội bộ.
2. ChatGPT rất hữu ích làm người kiểm chéo. Đây là cách dùng tốt nhất của nó trong bài này:

Đây là một đoạn phân tích. Đóng vai người phản biện: chỉ ra những khẳng định nào không có bằng chứng,
những chỗ nào là suy đoán được trình bày như dữ kiện, và những câu hỏi nào một người khó tính sẽ hỏi.

<dán đoạn phân tích, đã bỏ hết tên riêng, số liệu nội bộ và thông tin nhận dạng>

Câu trong ngoặc rất quan trọng: bạn nhờ nó phản biện cấu trúc lập luận, không cần đưa dữ liệu thật.

Bài tập

Thời gian: 50 phút.

1. Làm cả 4 thực hành.

2. Nộp bảng lỗi bạn tìm được:

   Lỗi tìm được	Thuộc dạng nào (1 tới 6)	Tôi phát hiện bằng lớp kiểm nào	Nếu không phát hiện thì hậu quả gì

3. Viết danh sách kiểm riêng cho loại sản phẩm bạn hay làm nhất, tối đa 8 dòng, mỗi dòng kiểm được
   trong dưới 30 giây.

4. Xác định mức rủi ro cho 5 loại sản phẩm bạn hay làm, theo bảng ở Phần 3.

5. Đưa hai câu quan trọng nhất của bài này ("nếu không có dữ liệu thì ghi rõ không có dữ liệu" và
   "nếu tôi sai thì nói thẳng") vào bộ nhớ của bạn.

Tiêu chí đạt:

• Bạn tìm được ít nhất một lỗi thật, tự tay, và nói được nó thuộc dạng nào.
• Bạn có một danh sách kiểm 8 dòng dùng được, không phải bản chép lại từ tài liệu này.
• Bạn phân được 5 sản phẩm của mình theo 4 mức rủi ro.

Lỗi thường gặp

Tự kiểm tra

1. Dạng sai nào nguy hiểm nhất, và vì sao?
2. Ba lớp kiểm là gì? Lớp nào agent không thể thay bạn?
3. Câu nào bạn nên thêm vào mọi yêu cầu về dữ liệu thật?
4. Kỹ thuật nào giúp bạn biết chỗ nào là suy đoán chứ không phải dữ kiện?
5. Vì sao phải hỏi lại bằng câu trung tính?
6. Với một báo giá gửi khách hàng, bạn ở mức rủi ro nào, và kiểm những gì?

Mang về

• Nó luôn tự tin, kể cả khi sai. Giọng văn không cho bạn tín hiệu gì.
• Có trích dẫn không có nghĩa là trích dẫn đúng. Mở nguồn ra kiểm.
• Cho nó đường nói "không biết", và bắt nó tách "dữ kiện" khỏi "suy đoán".
• Thời gian kiểm tỷ lệ với hậu quả nếu sai, không tỷ lệ với độ dài sản phẩm.
• Lớp kiểm cuối là đầu của bạn. Đó là phần không thể giao cho ai.

Bài tiếp theo

Bài 18. Bảo mật, quyền và dữ liệu