AI การกำกับดูแลเอเจนต์ในการจัดซื้อขององค์กร

การกำกับดูแลเอเจนต์ AI ในการจัดซื้อจัดจ้างควรมีความหมายอย่างไร

การกำกับดูแลตัวแทน AI คือสัญญาการดำเนินงานที่เชื่อมโยงงานจัดหาที่กำหนดเข้ากับข้อมูล เครื่องมือ อำนาจ บุคลากร และการควบคุมที่ได้รับอนุญาต กรอบการบริหารความเสี่ยง AI ของ NIST อธิบายการกำกับดูแลว่าเป็นข้อกำหนดที่ครอบคลุมและต่อเนื่องตลอดอายุการใช้งานของระบบ AI (ฟังก์ชันการกำกับดูแล). ดังนั้น การออกแบบการจัดซื้อจัดจ้างจึงควรควบคุมวงจรการดำเนินการทั้งหมด ครอบคลุมถึงแบบจำลอง หลักฐาน การดำเนินการภายนอกทุกอย่าง และบุคลากรที่รับผิดชอบในการแทรกแซง

เริ่มต้นด้วยเหตุการณ์ทางธุรกิจ: การค้นหาซัพพลายเออร์ การเตรียม RFQ การปรับมาตรฐานการเสนอราคา การแนะนำการให้รางวัล การเปลี่ยนแปลงสัญญา การสร้างใบสั่งซื้อ หรือการสื่อสารกับซัพพลายเออร์ สำหรับแต่ละเหตุการณ์ ให้ระบุวัตถุประสงค์ของตัวแทน ระบบที่ได้รับอนุญาต การกระทำที่ต้องห้าม เจ้าของที่รับผิดชอบ หลักฐานที่จำเป็น เส้นทางการยกระดับ วันหมดอายุ และเส้นทางการกู้คืน มุมมองระดับความสามารถนี้จะป้องกันไม่ให้ป้ายกำกับกว้างๆ เช่น อัตโนมัติ หรือควบคุมโดยมนุษย์ ซ่อนการอนุญาตที่แตกต่างกันอย่างมาก

งานจัดหาใดที่ควรอนุญาตให้ตัวแทนดำเนินการได้?

กำหนดอำนาจโดยความสามารถในการย้อนกลับของการกระทำและผลที่ตามมาของการตัดสินใจ การรวบรวมข้อมูลแบบอ่านอย่างเดียวและการเตรียมฉบับร่างนั้นตรวจสอบได้ง่ายกว่าการสื่อสารภายนอก การจัดอันดับซัพพลายเออร์ การเจรจาเชิงพาณิชย์ หรือข้อผูกมัด งานที่มีความเสี่ยงต่ำยังคงไม่ปลอดภัยได้เมื่อแหล่งที่มาขาดหายไป นโยบายล้าสมัย ตัวตนของซัพพลายเออร์ไม่แน่นอน หรือการเรียกใช้เครื่องมือถัดไปเปลี่ยนแปลงบันทึกภายนอก

อย่าใช้มูลค่าธุรกรรมทั่วไปเป็นเส้นแบ่ง หลักฐานสาธารณะไม่ได้กำหนดเกณฑ์การใช้จ่ายที่ปลอดภัยที่เป็นสากลสำหรับการจัดซื้อจัดจ้างแบบอัตโนมัติ ปรับเทียบอำนาจในท้องถิ่นโดยใช้ความสามารถในการย้อนกลับ ผลกระทบต่อซัพพลายเออร์และตลาด ความอ่อนไหวของข้อมูล ผลกระทบตามสัญญา การแยกหน้าที่ และต้นทุนของการดำเนินการที่ผิดพลาด AI ในคู่มือการจัดซื้อจัดจ้าง ให้บริบทเวิร์กโฟลว์ที่กว้างขึ้นสำหรับการประเมินนั้น

อำนาจของมนุษย์ต้องขัดจังหวะเวิร์กโฟลว์ที่ใด?

การควบคุมโดยมนุษย์ควรอยู่ในจุดที่บุคคลยังคงสามารถเปลี่ยนแปลงผลลัพธ์ได้ NIST เรียกร้องให้มีบทบาทและช่องทางการสื่อสารที่จัดทำเป็นเอกสาร กระบวนการกำกับดูแลโดยมนุษย์ที่กำหนดไว้ และกลไกหลังการปรับใช้สำหรับการอุทธรณ์ การแทนที่ การกู้คืน และการจัดการการเปลี่ยนแปลง (ความรับผิดชอบและการกำกับดูแล) ในการจัดซื้อจัดจ้าง จุดตรวจสอบจะต้องมาถึงก่อนข้อความภายนอก การตัดสินใจจัดอันดับ การให้รางวัล ข้อผูกพัน หรือการเปลี่ยนแปลงระบบที่ไม่สามารถย้อนกลับได้ซึ่งอยู่ภายใต้การควบคุม

• แสดงบันทึกต้นฉบับและกฎนโยบายที่แน่นอนให้ผู้ตรวจสอบ ไม่ใช่แค่สรุปของตัวแทน
• ระบุการตัดสินใจที่บุคคลกำลังทำและอำนาจที่อนุญาตให้ตัดสินใจนั้น
• เสนอทางเลือกที่มีความหมาย: อนุมัติ, แก้ไข, ปฏิเสธ, ขอหลักฐาน, พักชั่วคราว, หรือส่งต่อข้อยกเว้น
• ป้องกันไม่ให้ตัวแทนดำเนินการในขณะที่การตรวจสอบยังเปิดอยู่ หมดอายุ หรืออิงตามข้อมูลนำเข้าที่เปลี่ยนแปลงไป
• บันทึกการตัดสินใจของมนุษย์และอ่านสถานะภายนอกหรือสถานะระบบที่เกิดขึ้นกลับคืน

เหตุใดการติดป้ายกำกับแบบ Human-in-the-loop จึงยังไม่เพียงพอ

ผู้ตรวจสอบที่ได้รับการเสนอชื่ออาจเตรียมตัวได้น้อยที่สุดเมื่อเกิดความล้มเหลวที่ไม่ค่อยเกิดขึ้น การวิเคราะห์ปัจจัยมนุษย์ที่เป็นรากฐานของ Bainbridge แย้งว่าระบบอัตโนมัติสามารถทำให้ผู้คนต้องเผชิญกับชุดงานที่ยากลำบากที่เหลืออยู่ และการทำงานอัตโนมัติที่ยอมรับได้เป็นเวลานานจะบ่อนทำลายการตรวจสอบที่มีประสิทธิภาพ (ความขัดแย้งของระบบอัตโนมัติ) การตั้งค่าคือการควบคุมกระบวนการทางอุตสาหกรรม ดังนั้นเอกสารจึงไม่ได้วัดทีมจัดซื้อ แต่กลไกนี้ท้าทายคิวการอนุมัติแบบพาสซีฟ

การทดลองภาคสนามในปัจจุบันให้ข้อควรระวังในการทดสอบงานที่ต้องใช้ความรู้ นักวิจัยพบว่าผู้เข้าร่วมที่มี AI มีโอกาสน้อยกว่ากลุ่มควบคุม 19 เปอร์เซ็นต์ที่จะแก้ปัญหางานหนึ่งที่จงใจวางไว้นอกขีดความสามารถของแบบจำลอง (ผลลัพธ์นอกขอบเขต) การศึกษาใช้ที่ปรึกษามืออาชีพและโมเดลวัตถุประสงค์ทั่วไปรุ่นก่อนหน้า ไม่ใช่ตัวแทนจัดซื้อ ดังนั้นจึงใช้ผลลัพธ์เพื่อยืนยันการทดสอบระดับงาน แทนที่จะคาดการณ์อัตราข้อผิดพลาดในท้องถิ่น

บันทึกการตัดสินใจควรเก็บรักษาอะไรบ้าง?

รักษาบริบทให้เพียงพอต่อการสร้างใหม่ว่าเอเจนต์รู้อะไร ทำอะไร และทำไมบุคคลจึงอนุญาตให้ดำเนินการขั้นต่อไปได้ บันทึกควรเชื่อมโยงคำขอทางธุรกิจเข้ากับหลักฐานต้นฉบับ นโยบาย การเรียกใช้เครื่องมือ การแปลงข้อมูลชั่วคราว ความไม่แน่นอน ข้อยกเว้น การตัดสินใจของมนุษย์ และการอ่านซ้ำขั้นสุดท้าย เชื่อมโยงการออกแบบนั้นเข้ากับ วิธีการกำกับดูแลตั้งแต่การรับเข้าจนถึงการจัดซื้อ ดังนั้นความต้องการเดิมยังคงปรากฏให้เห็นเมื่อการทำงานข้ามระบบและเจ้าของ

1. ผูกรหัสเคสที่เสถียรเข้ากับผู้ร้องขอ วัตถุประสงค์ กลุ่มซัพพลายเออร์ และผลลัพธ์ที่อนุญาต
2. เก็บรักษา ID บันทึกต้นฉบับ เวลาที่เรียกใช้ เวอร์ชัน การยกเว้น ฟิลด์ที่ขาดหายไป และความขัดแย้ง
3. บันทึกโมเดล, พรอมต์หรือเทมเพลตนโยบาย, ขอบเขตเครื่องมือ, ผลลัพธ์ และการแสดงตัวอย่างการดำเนินการภายนอกทุกรายการภายใต้กฎการจัดประเภท, การเข้าถึง, การย่อขนาด, การแก้ไข, การเก็บรักษา, การระงับทางกฎหมาย และการรักษาความลับของซัพพลายเออร์ที่เกี่ยวข้อง
4. บันทึกการตัดสินใจ เหตุผล อำนาจ เงื่อนไข และวันหมดอายุของบุคคลที่รับผิดชอบ
5. อ่านสถานะปลายทางกลับและกระทบยอดกับการกระทำที่ตั้งใจไว้; ผลลัพธ์ที่คลุมเครือจะเข้าสู่การตรวจสอบ ไม่ใช่การลองใหม่โดยอัตโนมัติ
6. ติดตามการตรวจสอบ เหตุการณ์ การแทนที่ การแก้ไข และเหตุการณ์การเลิกใช้งานในสายงานเดียวกัน

ทีมควรควบคุมพฤติกรรมตลาดระหว่างเอเจนต์อย่างไร

การทดสอบตลาดเป็นส่วนหนึ่งของการทดสอบเอเจนต์แต่ละตัว เนื่องจากผู้กระทำการอัตโนมัติสามารถเปลี่ยนแปลงพฤติกรรมของกันและกันได้ Fish, Gonczarowski และ Shorrer รายงานการทดลองในห้องปฏิบัติการที่เอเจนต์กำหนดราคาที่ใช้ LLM สามารถเข้าถึงราคาที่สูงกว่าการแข่งขันได้อย่างรวดเร็ว และขยายการวิเคราะห์ไปยังการประมูล (การค้นหาแบบหลายเอเจนต์) การศึกษาเกี่ยวข้องกับการจำลองราคาและการประมูล ดังนั้นจึงสนับสนุนบทเรียนการออกแบบที่มีขอบเขตสำหรับการจัดหาขององค์กร: คุณภาพคำตอบที่แยกออกมาไม่สามารถสร้างพฤติกรรมที่ปลอดภัยได้เมื่อผู้กระทำการอัตโนมัติตอบสนองต่อกันและกันซ้ำๆ

ก่อนที่จะมีอำนาจในการเจรจาหรือการเสนอราคาใดๆ ให้ทำการจำลองสถานการณ์ที่เป็นปฏิปักษ์ซ้ำๆ ด้วยกลยุทธ์คู่แข่ง พรอมต์ เงื่อนไขตลาด และกฎการออกที่แตกต่างกัน ตรวจสอบคำอธิบายของเอเจนต์พร้อมกับผลลัพธ์ที่สังเกตได้ เช่น รูปแบบการเสนอราคา การเข้าถึงซัพพลายเออร์ การบรรจบกันที่อธิบายไม่ได้ การหลีกเลี่ยงกฎ และการไม่สามารถหยุดได้ ส่งต่อความผิดปกติไปยังเจ้าของด้านการแข่งขัน กฎหมาย การค้า และความเสี่ยง เนื่องจากบันทึกการตรวจสอบที่สะอาดไม่สามารถแก้ไขผลลัพธ์ของตลาดที่ไม่สมบูรณ์ได้

ทีมจัดซื้อจัดจ้างควรนำร่องเอเจนต์ AI อย่างไร

ทดลองใช้ความสามารถหนึ่งภายในกระบวนการที่รู้จัก โดยมีบันทึกที่เชื่อถือได้และเจ้าของที่ระบุชื่อ ผู้เขียนการทดลองภาคสนามอธิบายถึงขอบเขตที่ไม่แน่นอนซึ่งงานที่ดูคล้ายกันอาจอยู่คนละด้านของความสามารถของโมเดล (การค้นหาขอบเขตงาน) เริ่มต้นด้วยการเตรียมหลักฐานแบบอ่านอย่างเดียว เปรียบเทียบกับกรณีที่เสร็จสมบูรณ์และฐานข้อมูลที่ไม่มีตัวแทน และขยายผลหลังจากที่ทีมสามารถอธิบายข้อผิดพลาด ความไม่เห็นด้วย การแทนที่ และเงื่อนไขที่เปลี่ยนแปลงไปเท่านั้น

1. เลือกเหตุการณ์ที่จำเพาะเจาะจงและลงทะเบียนล่วงหน้าสำหรับกระบวนการปัจจุบัน, เกณฑ์พื้นฐาน, เจ้าของงานประเมิน, ระยะเวลาการตรวจสอบ, ข้อยกเว้น และสถานการณ์ความเสียหาย
2. ทดสอบการเข้าถึงและการดึงข้อมูลที่ได้รับอนุญาตจากระบบที่เป็นรูปธรรม เช่น ที่เก็บข้อมูล ERP, SAP Ariba และ Icertis
3. เล่นซ้ำกรณีมาตรฐาน กรณีที่มีข้อโต้แย้ง กรณีที่ล้าสมัย กรณีที่ไม่สมบูรณ์ กรณีที่ซ้ำซ้อน และกรณีที่เป็นปฏิปักษ์ โดยไม่ต้องดำเนินการภายนอก
4. วัดความสมบูรณ์ของหลักฐาน ความไม่เห็นด้วยในการตัดสินใจ การยกระดับที่ผิดพลาด การยกระดับที่พลาดไป ความพยายามของผู้ตรวจสอบ และคุณภาพการกู้คืนเทียบกับเกณฑ์การยอมรับและการยกระดับที่ได้รับอนุมัติในท้องถิ่น
5. เพิ่มการดำเนินการที่สามารถย้อนกลับได้เพียงครั้งเดียวหลังจากผ่านการอ่านซ้ำ การป้องกันการซ้ำซ้อน การจัดการการหมดเวลา การสำรองข้อมูลต่อเนื่อง ทริกเกอร์การย้อนกลับ และการควบคุมการหยุด
6. ประเมินขอบเขตใหม่ทุกครั้งที่โมเดล พรอมต์ เครื่องมือ แหล่งข้อมูล นโยบาย ประชากรซัพพลายเออร์ หรือบริบทตลาดเปลี่ยนแปลงไป

ผลการนำร่องจะควบคุมความสามารถหนึ่งภายใต้เงื่อนไขที่ระบุไว้ ดังนั้นการขยายแต่ละครั้งจึงต้องมีการตัดสินใจใหม่ เก็บชุดหลักฐานไว้ข้าง คู่มือการเลือกซอฟต์แวร์จัดซื้อจัดจ้าง เมื่อประเมินความเหมาะสมของแพลตฟอร์ม ขอบเขตการรวมระบบ การเข้าถึงการตรวจสอบ และความเป็นเจ้าของในการดำเนินงาน ใช้การสาธิตของผู้ขายเพื่อประเมินความสามารถในการใช้งาน จากนั้นให้หลักฐานการเล่นซ้ำและการกู้คืนในพื้นที่เป็นตัวกำหนดสถานะเวิร์กโฟลว์ที่ได้รับอนุญาต

มุมมองของ Zinit เกี่ยวกับความเป็นอิสระที่มีขอบเขตคืออะไร?