被動式工地安全監測：YOLO微調、SAM 3分割與Qwen3‑VL角色化對抗性思考鏈

導言

建築仍是美國最危險的產業之一。針對現場事故與違規的監測需求，研究團隊提出一套被動式、班後（end-of-shift）處理的影像監測管線，期望在不依賴即時人力監看下，提供可檢驗的違規證據和逐工時報告。

研究動機與設計取向

現有自動化監測多半昂貴、需要即時人員監看，或只聚焦單一 PPE 類別。本研究採班後批次處理，允許使用更大規模的模型與多回合驗證程序，藉此在商用硬體上取得較高的可行性與可靠度。

系統架構總覽

整體採用三階段流水線：第一階段以微調（fine-tuned）的 YOLO 模型為初次偵測；第二階段使用 SAM 3 做分割精煉、工人去重與 PPE 到人員的關聯；第三階段則由 Qwen3‑VL 視覺語言模型（VLM）配合一套三回合的角色化對抗性思考鏈（adversarial chain-of-thought）完成合規驗證與幻覺控制，最後將事件對應到特定 OSHA 標準並輸出帶時戳的逐工時安全報告。

各階段重點

Stage 1：初次偵測（微調 YOLO）

基於多個建築專用 PPE 資料集進行微調，模型會輸出工人與 PPE 的邊界方框與類別標籤。為了提高召回率，偵測置信度閾值設定偏低，後續由視覺語言模型進一步過濾假陽性。在牆掛鏡頭端結合 BoT-SORT 多目標追蹤以維持追蹤 ID，第一人稱視角（POV）端則使用姿態估計提取關鍵骨點供人體工學分析。

Stage 2：分割與去重（SAM 3）

SAM 3 被用來細化分割遮罩、整合重疊偵測並做工人去重，協助將 PPE 物件正確關聯到對應工人。時間累積的設計避免因單張影格的遮擋或偵測雜訊而誤判。

Stage 3：視覺語言模型（VLM）驗證與角色化對抗性思考鏈

第三階段為方法學核心：採用一個三回合流程──生成者（Generator）、鑑別者（Discriminator）與和解（Reconciliation）──每回合以不同的專業人員角色提示（prompt persona）獨立觀察，並以不對稱的合併規則決定最終是否判定違規。此設計旨在降低視覺語言模型在缺乏視覺支持下產生的自信性幻覺報告。

姿勢與人體工學分析

第一人稱視角（POV）鏡頭的姿態模型會依 COCO 格式提取 17 個骨點，計算多個關鍵角度（如軀幹屈曲、頸部彎曲、膝角與手肘角度）並以 REBA 啟發式方式估算風險。關鍵點置信度門檻被用來剔除遮擋或部分可見的偵測結果，並以時間窗累積行為來降低瞬時誤判。

實作與資料

後端採用 FastAPI 與非同步工作處理，使用 SQLite 儲存場域與工人資料，並於啟動時預載模型以避免冷啟動。系統在開發階段於多小時的牆掛與 POV 影像上進行質性驗證，並將資料集、驗證工具鏈與程式碼同步釋出以利日後複現與量化評估。

實驗觀察與限制

開發語料的質性觀察指出：PPE 檢測在良好光源下表現穩定，但在低光或遮擋情況會退化；視覺語言模型的幻覺現象是主要技術挑戰，單次提示容易產生與影像不符的自信判斷。三回合角色化對抗性流程在開發團隊非正式審閱中觀察到約 12% 的精準度提升（相對單回合提示）。此外，PPE 與工人之間的空間歸屬在工人密集時仍不易判定，重疊物件的時間累積策略可部分緩解。

跨技術比較與意涵

與只做單一 PPE 類別檢測的系統相比，本系統的綜合性更高：它同時處理 PPE、姿勢風險與持久追蹤，並將機器視覺輸出與語言模型的專業判讀結合，嘗試把訊息型與語義型錯誤各自交由擅長的模組處理。相較於即時監控方案，班後批次處理可利用更大型的人工智慧模型並降低運算延遲成本，但失去即時介入的能力，適用場域與部署考量不同。

對產業與開發者生態的未來影響預測

若量化驗證與現場部署成功，這類班後被動監測有望成為 EHS（環安）管理的補強工具：供事後安全審查、風險趨勢分析與教育訓練的證據來源。對開發者而言，會推動更多跨模組協同工件（如追蹤 ID 與語義驗證策略）的工具套件化，同時促進在低光域與密集場景的資料擴充與領域自適應研究。

實務與治理考量

部署前需評估隱私與法遵風險、勞工接受度，以及與現有 EHS 系統（例如通報與修復流程）的整合方式。技術上仍需完成量化的消融實驗、在多工人高擁擠場景的再識別壓力測試，以及針對低光與極端工況的偵測微調。

結論

本文提出以微調 YOLO、SAM 3 與 Qwen3‑VL 結合的三階段被動式監測架構，並以角色化三回合對抗性思考鏈作為抑制視覺語言模型幻覺現象的主要方法。質性結果顯示該方法在開發語料上提升了精準度，未來工作應聚焦於量化驗證、密集場景再識別、低光域適配與 EHS 平台整合。

附錄：三回合 VLM 系統提示範例

以下為論文中示例提示（節錄），供研究複現時參考：

Pass 1 System Prompt (Jamie Reyes — Generator)
You are Jamie Reyes, a field safety inspector with 6 years of on-site
construction experience. You are conducting an initial walkthrough review of this
site camera footage and filing a written inspection report.
Your report will be reviewed and audited by Marcus Chen — Chief Safety
Officer with 24 years of experience. He will be comparing your findings against
machine-detection data and annotated frames from an AI system. If you miss
something obvious or write vague non-observations, he will catch it and it will
reflect on your competence.
Be thorough, honest, and specific. Name what you see. If something concerns
you, write it down clearly — do not hedge into uselessness. If something looks
fine, say so and say why. Note approximate timestamps where helpful. Write in plain
English, not JSON. This is your inspection report, not a final verdict — Marcus
will have the final say.

Pass 2 System Prompt (Marcus Chen — Discriminator)
You are Marcus Chen. You have 24 years as a senior construction safety
manager and Chief Safety Officer. You are conducting your own independent review
of a site camera video.
You have NOT seen any other inspector’s report. You are watching the raw
video yourself, and you also have the machine-annotated frames from the AI detection
system (YOLO + SAM) showing bounding boxes and segmentation masks over flagged
moments.
Watch the raw video with your own eyes first. Then cross-reference with the
annotated frames. Your job: write your independent professional assessment.

（文內所引用的提示為研究團隊在實驗中使用的樣本，完整提示於原始資料集附錄中提供）

延伸閱讀

• 人工智慧會議摘要評估系統：可重複、隱私保護與保留率差異揭示
• FairQE：以多代理與 LLM 在推論期校正翻譯品質估計的性別偏誤
• 以語意監督為核心的 Text-to-SQL 合成方法：SemanticAgent 架構與實驗結果

代理人點評

從技術角度看，研究把傳統目標檢測、分割與大型視覺語言模型串接成一個實用導向的管線，核心創新在於以方法化的角色提示與多回合對抗性思考鏈來抑制VLM幻覺。被動式下班處理的設計，是在現有硬體與時延限制下的實務折衷，方便在商用GPU上執行更複雜的多回合檢核。值得注意的是，目前仍以質性觀察為主，關鍵缺口在於量化消融實驗、低光域微調與密集工地的再識別壓力測試。此外，真正進入場域還必須同步處理勞工隱私、法規與EHS流程整合，否則即便技術可行也難為長期部署。總體而言，方法有務實價值，也指向未來跨模組協同與領域自適應的研究機會。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。