Bài 06. Agent dùng công cụ, và cách bạn kiểm tra nó

Đây là bài làm bạn từ "người dùng tin tưởng mù quáng" thành "người dùng kiểm được".

Agent làm việc bằng công cụ: nó tra web, đọc tệp, mở hộp thư, tra kho tri thức, tạo tệp. Bạn
không phải chọn công cụ, nhưng bạn phải biết nó đã dùng cái gì, nếu không bạn không có cách nào
biết một con số là thật hay là nó đoán.

Tình huống

Bạn nhờ: "Cho tôi biết tình hình dự án Minh Long tuần này."

Agent trả về một bản tóm tắt rất mạch lạc, có tiến độ, có rủi ro, có tên người. Nghe hoàn toàn hợp lý.

Câu hỏi duy nhất bạn cần đặt: nó lấy những thông tin đó ở đâu?

Có ba khả năng:

1. Nó đã đọc Jira và tin nhắn thật của bạn. Bản tóm tắt đáng tin.
2. Nó đọc được một phần, phần còn lại nó suy diễn. Nửa đáng tin.
3. Nó không truy cập được gì và viết ra một bản nghe hợp lý. Vô giá trị, và nguy hiểm vì bạn sẽ tin.

Bài này dạy bạn phân biệt ba trường hợp đó trong 20 giây.

Mục tiêu bài học

• Biết agent có những nhóm công cụ nào
• Đọc được nhật ký "Xem những gì đã làm"
• Dịch được các dòng trạng thái thân thiện sang "nó đang thật sự làm gì"
• Ép được agent dùng đúng nguồn bạn muốn
• Biết dừng agent giữa lúc nó đi sai hướng

Phần 1. Các nhóm công cụ

Bạn không cần nhớ tên kỹ thuật. Chỉ cần biết có những nhóm này, để bạn biết mình được phép nhờ gì.

Cột "Điều kiện" là chỗ quan trọng. Nếu bạn chưa kết nối Gmail thì agent không đọc được email
của bạn, và nó sẽ nói thẳng chuyện đó chứ không bịa. Kiểm ở Cài đặt → Tích hợp.

Phần 2. Đọc dòng trạng thái

Trong lúc agent làm việc, dưới câu trả lời xuất hiện các dòng trạng thái bằng tiếng Việt thân thiện.
Chúng cố tình không hiện tên kỹ thuật. Đây là bảng dịch:

Hai dòng bạn phải đặc biệt để ý, vì chúng thay đổi dữ liệu chứ không chỉ đọc: "Đang lưu vào kho
tri thức của bạn" và "Đang đặt lời nhắc". Nếu bạn không nhờ mà thấy chúng xuất hiện, hãy kiểm lại
xem nó đã tạo cái gì.

Phần 3. Nhật ký "Xem những gì đã làm"

Dưới mỗi câu trả lời có dòng "Xem những gì đã làm". Bấm vào để mở nhật ký các bước.

Đây là công cụ kiểm tra quan trọng nhất mà bạn có. Ba câu hỏi bạn trả lời bằng nhật ký này:

Câu 1. Nó có thật sự tra cứu không, hay chỉ tự viết?
Nhật ký trống hoặc chỉ có "Đang xử lý" nghĩa là nó chủ yếu tự viết từ kiến thức chung. Với câu hỏi
về nội bộ công ty, đây là dấu hiệu đỏ.

Câu 2. Nó tra ở đâu?
Nếu bạn hỏi về chính sách công ty mà nhật ký chỉ có "Đang tìm hiểu" (web), nghĩa là nó đang lấy quy
định chung trên mạng, không phải quy định của công ty bạn. Đây chính là chuyện đã xảy ra với chị
Loan ở bài 05.

Câu 3. Nó có làm gì mà bạn không nhờ không?
Ví dụ bạn nhờ soạn nháp mà nhật ký cho thấy nó đã gửi, hoặc đã tạo một tác vụ định kỳ. Hiếm, nhưng
đây là cách bạn phát hiện.

Ngoài nhật ký, câu trả lời còn có hai dấu hiệu nguồn:

• "Dựa trên" hoặc "Đã tìm trong kho tri thức": cho biết nó đã dùng tài liệu nào của bạn.
• Số trích dẫn kiểu [1], [2] kèm danh sách tài liệu tham khảo ở cuối: nói rõ câu nào lấy từ
  nguồn nào. Đây là thứ bạn nên luôn yêu cầu với báo cáo có số liệu.

Phần 4. Ép agent dùng đúng nguồn

Agent tự chọn công cụ, và nó chọn khá tốt. Nhưng khi bạn cần chắc chắn, hãy nói rõ. Các câu mẫu:

Bắt dùng tài liệu nội bộ, không lấy trên mạng:

Chỉ trả lời dựa trên kho tri thức <tên kho>. Nếu trong đó không có thông tin, hãy nói thẳng là
không có, đừng lấy từ Internet và đừng suy đoán.

Bắt dùng web và ghi rõ nguồn:

Tra trên mạng, và với mỗi thông tin ghi rõ tên trang và đường dẫn. Ưu tiên nguồn chính thức
(cơ quan nhà nước, trang chủ của tổ chức) hơn báo và blog.

Bắt dùng dữ liệu thật của bạn:

Đọc hộp thư và tin nhắn thật của tôi trong 7 ngày qua. Nếu không truy cập được, nói thẳng cho tôi
biết, đừng viết một bản tóm tắt suy đoán.

Câu "nếu không truy cập được thì nói thẳng" là câu quan trọng nhất trong cả bài 06. Nó chặn
đúng trường hợp tệ nhất: agent không có dữ liệu nhưng vẫn viết ra một bản nghe hợp lý.

Bắt ghi trích dẫn:

Mọi con số và mọi khẳng định về chính sách đều phải có trích dẫn nguồn ngay tại chỗ, và liệt kê
danh sách nguồn ở cuối.

Phần 5. Dừng agent giữa đường

Khi bạn thấy nó đi sai hướng, đừng ngồi chờ hết.

Làm trên Redstone Agent

Thực hành 1: đọc nhật ký của ba loại việc (15 phút).

Chạy ba yêu cầu sau, và với mỗi cái bấm "Xem những gì đã làm" rồi ghi ra nó đã dùng công cụ gì.

1. Giải thích ngắn gọn thế nào là hợp đồng khoán việc.

Dự đoán: nhật ký gần như trống. Nó trả lời từ kiến thức chung. Với câu hỏi kiến thức phổ thông thì
điều đó ổn.

2. Tra giúp tôi mức lương tối thiểu vùng đang áp dụng ở Việt Nam, kèm nguồn chính thức và ngày
hiệu lực.

Dự đoán: thấy "Đang tìm hiểu" và "Đang đọc". Kiểm xem nguồn nó dẫn có phải trang chính thức.

3. Kiểm hộp thư và tin nhắn của tôi trong 3 ngày qua, cho tôi biết có gì cần xử lý.
Nếu bạn không truy cập được nguồn nào, nói thẳng cho tôi biết nguồn đó.

Dự đoán: nếu bạn đã kết nối, thấy "Đang xem email của bạn" và "Đang xem lại tin nhắn của bạn". Nếu
chưa kết nối, nó nói thẳng là chưa kết nối. Cả hai đều là kết quả đúng. Cái sai duy nhất là nó
viết một bản tóm tắt trong khi không có dữ liệu.

Thực hành 2: thử nghiệm ép nguồn (10 phút).

Chọn một câu hỏi về nội bộ công ty bạn (chính sách, quy trình, con số). Hỏi hai lần:

Lần 1, hỏi thường:

<câu hỏi của bạn>

Lần 2, trong Trò chuyện mới, ép nguồn:

<câu hỏi của bạn>

Chỉ dựa trên tài liệu nội bộ của công ty tôi trong kho tri thức. Nếu không có, nói thẳng là không
có. Không lấy từ Internet, không suy đoán từ quy định chung.

So hai câu trả lời. Nếu công ty bạn chưa có kho tri thức, lần 2 sẽ trả lời "không có thông tin",
và đó là câu trả lời đúng và hữu ích hơn lần 1. Bài 07 sẽ lấp chỗ trống đó.

Thực hành 3: bắt trích dẫn (5 phút).

Tóm tắt 5 điểm chính về <chủ đề liên quan công việc bạn>, mỗi điểm ghi trích dẫn nguồn ngay tại
chỗ theo dạng [1], [2], và liệt kê danh sách nguồn đầy đủ ở cuối.

Mở một trong các nguồn nó dẫn, kiểm xem nội dung có đúng như nó viết. Làm việc này ít nhất một lần
trong đời, để bạn biết mức độ tin cậy thực tế.

Làm trên ChatGPT

ChatGPT cũng có công cụ (tìm web, phân tích tệp, tạo ảnh) và cũng cho xem nguồn, nhưng khác ở hai chỗ:

1. Ít công cụ nội bộ. Không có kho tri thức công ty, không có Jira, không có hộp thư của bạn
   (trừ khi bạn cấu hình thêm). Nên với câu hỏi nội bộ, câu trả lời của nó luôn là suy đoán.
2. Nhật ký ít chi tiết hơn. Bạn thấy được nó có tìm web hay không và các liên kết nguồn, nhưng
   không có nhật ký từng bước như "Xem những gì đã làm".

Cách bù: dùng đúng câu ép nguồn ở Phần 4. Câu "nếu không có thông tin thì nói thẳng, đừng suy đoán"
hiệu quả trên mọi công cụ AI, và bạn nên đưa nó thành thói quen.

Bài tập

Thời gian: 30 phút.

1. Chạy ba yêu cầu của Thực hành 1, ghi bảng:

   Yêu cầu	Công cụ nó đã dùng (từ nhật ký)	Tôi có tin kết quả không	Vì sao

2. Làm Thực hành 2, ghi lại khác biệt giữa hai câu trả lời bằng 2 câu.

3. Làm Thực hành 3, và thật sự mở một nguồn nó dẫn để kiểm. Ghi: đúng, sai một phần, hay không
   tìm thấy nội dung đó trong nguồn.

4. Vào Cài đặt → Tích hợp, ghi ra danh sách công cụ agent của bạn hiện dùng được, và một
   công cụ bạn muốn được kết nối, kèm lý do bằng một câu (để bạn có việc đi xin quản trị viên).

Tiêu chí đạt:

• Bạn mở được nhật ký và nói được agent đã dùng công cụ gì cho từng yêu cầu.
• Bạn có một ví dụ thật, của chính bạn, về việc câu trả lời nghe hợp lý nhưng nguồn không đủ
  vững. Đây là ví dụ bạn sẽ dùng để nhớ suốt cả năm.

Lỗi thường gặp

Tự kiểm tra

1. Bạn kiểm "agent có thật sự tra cứu hay chỉ tự viết" bằng cách nào?
2. Dòng "Đang tìm hiểu" nghĩa là nguồn ở đâu? Điều đó có phù hợp cho câu hỏi về chính sách nội bộ không?
3. Hai dòng trạng thái nào cho biết agent đang thay đổi dữ liệu, không chỉ đọc?
4. Viết câu ép nguồn để agent không được suy đoán khi thiếu dữ liệu.
5. Agent đang chạy sai hướng. Bạn có mấy cách can thiệp?

Mang về

• Câu hỏi quan trọng nhất về mọi câu trả lời: nó lấy thông tin này ở đâu?
• "Xem những gì đã làm" là công cụ kiểm tra mạnh nhất bạn có. Dùng nó cho mọi việc quan trọng.
• Thêm câu "nếu không truy cập được thì nói thẳng, đừng suy đoán" vào các yêu cầu về dữ liệu thật.
• Chưa kết nối thì agent không đọc được. Kiểm Cài đặt → Tích hợp trước khi kết luận nó kém.

Bài tiếp theo

Bài 07. Kho tri thức: dạy agent tài liệu công ty