Nhật ký tác tử AI là bản ghi mọi bước tác tử đã làm trong một phiên: nguồn nào đã mở, công cụ nào đã gọi, thay đổi gì đã tạo ra. Đọc nhật ký là cách duy nhất để biết chắc tác tử đã làm gì, vì kết quả cuối thường chỉ cho thấy phần nó muốn bạn thấy. Với người dùng văn phòng, việc này không cần kỹ thuật: mười phút cuối ngày, đối chiếu nhật ký với những gì thật sự thay đổi trong hộp thư, lịch và kho tệp.
Điểm quan trọng nhất của bài: bản tường trình tác tử tự viết ("đã gửi ba thư, đã cập nhật bảng") không phải bằng chứng. Nó có thể kể thiếu, kể sai thứ tự, hoặc nói đã làm một việc thật ra đã thất bại. Bằng chứng là dấu vết trong chính các ứng dụng: thư đã gửi, lịch sử phiên bản của tệp, nhật ký của nền tảng tự động hoá. Phần dưới hướng dẫn đọc nhật ký, đối soát và giữ sổ theo dõi.
Nhật ký tác tử gồm những gì
Mỗi công cụ hiển thị nhật ký theo cách riêng và gọi bằng tên riêng, nhưng nội dung thường có các phần dưới đây. Biết trước để tìm đúng chỗ.
- Đề bài đã nhận: chính xác câu chữ đã giao, kể cả hướng dẫn thường trực nếu có.
- Chuỗi bước: mỗi bước tác tử nghĩ gì (nếu công cụ cho xem) và làm gì, theo thứ tự thời gian.
- Lệnh gọi công cụ: tác tử đã gọi kết nối nào, với tham số gì, ví dụ "tìm thư từ ngày… đến ngày…", "tạo thư nháp gửi…".
- Kết quả trả về: mỗi lệnh gọi thành công hay lỗi, trả về bao nhiêu mục.
- Điểm dừng và phản hồi của người: lúc nào tác tử hỏi, ai trả lời gì.
- Mức dùng: thời gian chạy, số bước, lượng dữ liệu xử lý, có ích khi theo dõi chi phí.
- Ảnh chụp màn hình: với tác tử dùng trình duyệt, nhiều công cụ lưu ảnh từng bước.
Nếu công cụ của bạn không lưu đủ các phần trên, đặt yêu cầu trong đề bài: cuối mỗi phiên, liệt kê mọi nguồn đã mở và mọi thay đổi đã tạo, kèm thời điểm. Dù đây vẫn là tường trình tự viết, nó cho bạn danh sách để đối chiếu.
Bản tường trình tự viết và dấu vết thật
Mô hình ngôn ngữ viết tường trình bằng cách gom lại những gì nó nhớ trong phiên. Thường bản tóm tắt đúng, nhưng có ba kiểu lệch đã được nhiều người dùng ghi nhận. Một là báo thành công cho thao tác thật ra bị lỗi, vì nó nhớ ý định chứ không kiểm lại kết quả. Hai là bỏ sót những thao tác phụ nó coi là không quan trọng, như mở thêm một thư mục để tìm tài liệu. Ba là mô tả việc theo cách chung chung đến mức không kiểm được, kiểu "đã xử lý các thư cần thiết".
Vì vậy, khi đối soát, đi theo hướng ngược lại: bắt đầu từ ứng dụng, không bắt đầu từ lời kể. Mở thư mục thư đã gửi xem có thư nào đi ra trong khoảng thời gian tác tử chạy. Mở lịch xem có sự kiện mới. Mở lịch sử phiên bản của bảng tính xem có thay đổi nào ghi tên tài khoản của tác tử. Rồi so với nhật ký và tường trình.
Đây cũng là lý do nên cho tác tử dùng một tài khoản phụ riêng nếu có thể. Khi mọi thay đổi do tác tử tạo ra mang tên tài khoản đó, bạn lọc ra trong vài giây. Nếu tác tử dùng chung tài khoản với bạn, rất khó tách đâu là việc bạn làm, đâu là việc nó làm.
Đối soát mười phút cuối ngày
Quy trình dưới đây dành cho giai đoạn tác tử mới được giao việc, hoặc giao việc có quyền ghi. Khi đã ổn định, có thể giãn ra mỗi tuần một lần.
- Mở danh sách các phiên tác tử đã chạy trong ngày, đếm số phiên, so với số việc đã giao. Phiên nào không rõ ai giao là chuyện cần tìm hiểu ngay.
- Với mỗi phiên có quyền ghi, mở ứng dụng đích và lọc thay đổi trong khoảng thời gian phiên chạy.
- So thay đổi thật với danh sách thay đổi trong nhật ký. Có thay đổi thật mà nhật ký không ghi: đánh dấu đỏ. Nhật ký ghi mà không thấy thay đổi: đánh dấu vàng, có thể thao tác đã lỗi.
- Xem nhanh các điểm dừng: tác tử có hỏi đúng chỗ không, có chỗ nào đáng lẽ phải hỏi mà không hỏi.
- Lướt danh sách nguồn đã mở: có nguồn nào ngoài phạm vi đề bài không.
- Ghi kết quả vào sổ theo dõi, kể cả khi mọi thứ khớp. Dòng "khớp" nhiều lần liên tiếp là căn cứ để nới quyền sau này.
Mười phút nghe có vẻ nhiều với một việc tự động, nhưng trong vài tuần đầu, đây là khoản đầu tư rẻ nhất để biết tác tử có đáng tin hay không. Không đối soát mà vẫn giao quyền ghi là đặt niềm tin vào thứ bạn chưa kiểm.
Sổ theo dõi việc giao cho tác tử
Sổ theo dõi là một bảng tính đơn giản, mỗi dòng một phiên. Gợi ý các cột dưới đây; bạn bớt hoặc thêm tuỳ quy mô.
| Cột | Ghi gì | Dùng để làm gì |
|---|---|---|
| Ngày, giờ | Thời điểm phiên chạy | Lọc thay đổi trong ứng dụng đích |
| Việc | Tên việc theo tệp đề bài | Biết việc nào hay có vấn đề |
| Người giao | Ai bấm chạy hoặc ai đặt lịch | Có người chịu trách nhiệm |
| Quyền dùng | Đọc, nháp, ghi | Nhắc mức rủi ro khi đọc lại |
| Đối soát | Khớp, lệch vàng, lệch đỏ | Thống kê độ tin cậy theo thời gian |
| Sửa tay | Bạn đã phải sửa gì sau phiên | Căn cứ sửa đề bài |
| Ghi chú | Điều lạ, nguồn ngoài phạm vi, câu hỏi | Tìm nguyên nhân khi có sự cố |
Sau một tháng, đếm số dòng khớp trên tổng số dòng cho từng việc. Việc nào khớp gần như toàn bộ và ít phải sửa tay là ứng viên để nới quyền hoặc giãn đối soát. Việc nào lệch thường xuyên cần xem lại đề bài hoặc cân nhắc chuyển sang luồng cố định.
Dấu hiệu bất thường cần dừng ngay
Tác tử mở nguồn không có trong đề bài. Ví dụ được giao đọc hộp thư hỗ trợ nhưng nhật ký cho thấy nó tìm kiếm trong thư mục nhân sự. Có thể do nó hiểu sai, có thể do nó đọc phải một câu ra lệnh trong thư nào đó. Dừng, tìm bước nó đổi hướng.
Có thay đổi thật mà nhật ký không ghi. Thư đi ra, tệp bị sửa mà không có lệnh gọi tương ứng. Kiểm tra xem có luồng tự động nào khác hay người nào khác dùng chung tài khoản không, trước khi nghĩ đến chuyện tác tử.
Số bước tăng đột ngột. Một việc thường chạy hai mươi bước nay chạy hai trăm bước. Có thể tác tử bị vòng lặp, hoặc nguồn dữ liệu đổi định dạng khiến nó loay hoay. Chi phí cũng tăng theo.
Tác tử cố gửi dữ liệu ra ngoài. Ví dụ tạo thư nháp gửi tới một địa chỉ lạ, hoặc thử mở một trang web không liên quan kèm nội dung lấy từ thư. Đây là dấu hiệu điển hình của việc bị chèn lệnh qua nội dung đã đọc; thu hồi kết nối trước, tìm hiểu sau.
Tường trình nói đã xong nhưng kết quả trống. Thường do lỗi kết nối hoặc hết hạn đăng nhập. Không nguy hiểm, nhưng nếu không đối soát bạn sẽ tưởng việc đã làm.
Dùng nhật ký để sửa đề bài và cấu hình
Nhật ký không chỉ để bắt lỗi mà còn là nguồn tốt nhất để làm việc giao lần sau chạy gọn hơn. Khi đọc, để ý những bước tác tử làm đi làm lại: tìm cùng một thư mục ba lần với ba từ khoá khác nhau thường có nghĩa tên thư mục hay tên tệp không rõ ràng, sửa tên ở nguồn sẽ giúp cả người lẫn tác tử. Những đoạn tác tử tự viết "giả định rằng" hoặc "có lẽ" là chỗ đề bài đang bỏ ngỏ, cần bổ sung một dòng.
Nhật ký cũng cho thấy quyền nào thừa. Nếu sau một tháng, một kết nối chưa từng được gọi, hoặc một quyền ghi chưa từng được dùng, thu hồi nó. Ngược lại, nếu tác tử nhiều lần dừng hỏi cùng một câu mà bạn luôn trả lời giống nhau, câu trả lời đó nên được viết vào đề bài để nó không phải hỏi nữa.
Cuối cùng, nhật ký giúp so sánh trước và sau mỗi lần sửa đề bài. Ghi vào sổ theo dõi ngày sửa và sửa gì, rồi xem số bước trung bình, số lần phải sửa tay của các phiên sau đó. Nếu không cải thiện, quay lại bản đề bài cũ; đề bài dài hơn không phải lúc nào cũng tốt hơn.
Lưu nhật ký bao lâu và ai được xem
Nhật ký chứa chính những gì tác tử đã đọc: trích đoạn thư khách, nội dung tệp, đôi khi cả thông tin cá nhân. Nó cần được bảo vệ như dữ liệu gốc. Chỉ những người có quyền xem dữ liệu gốc mới nên có quyền xem nhật ký; đừng chia sẻ đường dẫn nhật ký vào nhóm trò chuyện chung cho tiện.
Về thời gian lưu, mỗi công cụ có chính sách mặc định riêng và có khi cho chỉnh. Với văn phòng nhỏ, giữ đủ lâu để đối soát và để tra lại khi có khiếu nại, thường vài tháng là đủ; lâu hơn chỉ làm tăng lượng dữ liệu nhạy cảm nằm thêm một chỗ. Nếu cần lưu lâu hơn cho mục đích kế toán hay pháp lý, lưu bản tóm tắt trong sổ theo dõi, không lưu toàn văn.
Sổ theo dõi bạn tự lập thì nên chỉ ghi mô tả, không chép nội dung thư hay thông tin khách vào. Nó là sổ của việc, không phải bản sao của dữ liệu. Khi một nhân viên nghỉ việc hoặc khi thôi dùng một công cụ, xuất phần nhật ký cần giữ ra nơi lưu trữ của công ty trước khi xoá tài khoản, vì nhiều công cụ xoá luôn lịch sử phiên cùng tài khoản.
Câu hỏi thường gặp
Công cụ không có nhật ký chi tiết thì có nên dùng cho việc có quyền ghi không?
Nên tránh. Không có nhật ký thì không đối soát được, và khi có sự cố bạn không biết tác tử đã làm gì. Với công cụ như vậy, giới hạn ở việc chỉ đọc hoặc soạn nháp, nơi hậu quả nằm hết trong tay bạn trước khi có gì đi ra ngoài.
Nền tảng tự động hoá có nhật ký riêng, tác tử cũng có nhật ký riêng, xem cái nào?
Xem cả hai và ghép theo thời điểm. Nhật ký của nền tảng cho biết hành động nào thật sự chạy, có thành công không; nhật ký của tác tử cho biết vì sao nó gọi hành động đó. Lệch giữa hai bên là manh mối đầu tiên khi tìm lỗi.
Đọc nhật ký mất nhiều thời gian quá, có cách nào nhanh hơn?
Bắt đầu từ thay đổi thật trong ứng dụng thay vì đọc nhật ký từ đầu đến cuối. Chỉ mở nhật ký khi có thay đổi lạ hoặc khi kết quả không như mong đợi. Ngoài ra, yêu cầu tác tử kết thúc mỗi phiên bằng danh sách thay đổi có thời điểm giúp bạn đối chiếu nhanh.
Có thể giao cho một tác tử khác đọc nhật ký giúp không?
Có thể dùng AI để tóm tắt nhật ký dài hoặc tìm những bước bất thường, nhưng nó cũng chỉ đọc nhật ký, không thay được việc đối chiếu với ứng dụng thật. Dùng nó như người lọc sơ bộ, việc kết luận vẫn do người làm.
Nhân viên tự dùng tác tử bằng tài khoản cá nhân thì quản lý nhật ký thế nào?
Đó là lý do nên có quy định dùng AI trong công ty: việc của công ty chạy bằng tài khoản công ty, có nhật ký người quản lý xem được. Tác tử chạy trên tài khoản cá nhân mà đụng dữ liệu công ty là vùng công ty không nhìn thấy và không kiểm được.