Re: [討論] 大家會擔心 ai 寫 code 讓工程師飯碗不

看板 Soft_Job
作者 DrTech (竹科管理處網軍研發人員)
時間 2024-11-03 16:09:00
留言 0 ( 0推 0噓 0→ )
回文 9則
※ 引述《angus850503 (安格斯)》之銘言: : 借版問 : 小弟目前為前端工程師 受益於 Copilot 跟 ChatGPT : 開發上真的輕鬆非常非常多 已經把按 tab 當作開發的一環了XD : 不過之前就一直對生成式 AI 有個疑問 : 就是"幻覺"到底有沒有根本上的解決方法? : 我的理解目前的 AI 還是靠大數據去堆疊資料量用以訓練模型 : 現階段也是不斷堆硬體去撐這塊 : (如果理解有誤請小力鞭QQ) : 但幻覺的問題不論是餵更多資料或是透過 RAG 感覺都是治標不治本 : 還是沒辦法完全預防與解決 : 對我來說這樣可以稱得上是 AI 嗎? 還是充其量只是進階版的機器學習? : 請各位軟工大神解惑了QQ : 附上這個議題 ChatGPT 自己的回答: : https://i.meee.com.tw/Gk7IjRH.png : https://i.meee.com.tw/EVQCczh.png 解決幻覺,不一定要從LLM解, 而是靠系統架構解。 例如,做一個問答系統,很多人減少幻覺是這樣做的: 0. 預先整理好QA問答資料集 (人工整理,或機器輔助整理) 1. 使用者輸入Query。 2. 搜尋top-k個相似的問題。 3. 將 k個最相似的問題與答案輸入至LLM, 要求LLM生成最適合的答案。 4. 將LLM生成的答案輸出。(可能有幻覺,可能沒幻覺,難以控制) 幾乎所有的網路上範例程式都告訴你這樣做。 這套系統架構稱為:LLM生成答案。 實際上,你只要改個系統架構,就可以得到完全沒幻覺,又同樣準確率又同樣等級的問答系統: 流程如下: 0. 整理QA資料集 1. 使用者輸入Query 2. 搜尋top-k相似的問題 3. 要求LLM在K個問題與答案,弄成K個選項 要求LLM選擇一個最適合的問題與答案。 LLM只輸出1, 2, 3, 4。 (如有必要,可用outlines 或 guidance,控制 next token 只做這四個選擇) 4. 根據LLM選擇的選項, 系統只輸出選項1,2,3,4 對應的答案A。 由於A不是LLM生成的,所以永遠不會有幻覺問題。 這套系統架構稱為:LLM選擇答案。(而不是生成答案) 也就是說,同樣一個系統,LLM原本是靠生成產生最後結果,轉換成LLM只能從多個沒幻覺的事實間,選擇一個事實。永遠不會有幻覺。 以上只是舉例。 任何一個AI功能,只要掌握一個訣竅, LLM或AI的輸出結果,不要用在最後階段的輸出 而是轉化問題,系統設計成LLM用在中間某任務,在事實間做分類選擇,輸出的就永遠是事實。 根據實驗與經驗,答對答錯的機會也不會 因為改變了系統設計架構而有影響。 做AI應用,真的不是無腦套模型,套別人流程。 LLM也不是只能用在生成文字,傳統的,分類,選擇,NER,排序最佳化,…都可以靠LLM 做。 把LLM當成系統中間工具,而不是最終輸出,可以大幅提升AI能力,又完全不會產生幻覺。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.189.178 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1730621342.A.166.html

最新文章

[問題] 房貸轉增貸
loan putswei
2024-11-03 16:08:05
[閒聊] 妳覺得妳老公幸福快樂嗎?
marriage sinkerwang40
2024-11-03 16:01:34
[交易] 7-11極饗海鮮中華丼
e-coupon goamozoe
2024-11-03 16:01:32
[問題] 第一台車保單請益
car joe51317
2024-11-03 15:58:00
[贈送] 全國 日文學習書
give hihitina
2024-11-03 15:56:24
[徵求] 7-11迪士尼點數27點
e-coupon ranger25
2024-11-03 15:49:56
[贈送] 台北松山 兩歲短袖包屁衣
give evaangel
2024-11-03 15:47:39
[交易] 7-11 迪士尼點數 9點
e-coupon hommusic
2024-11-03 15:43:05
7-11 迪士尼點數83點
e-coupon dave070715
2024-11-03 15:39:04
[交易] 全家點數1:200
e-coupon b711069418
2024-11-03 15:38:48