亚洲国产欧美一区_中文字幕国产精品_亚洲国产成人久久_色爱区综合激月婷婷

(相關(guān)資料圖)

站長之家(ChinaZ.com) 6月14日 消息:微軟的研究人員展示了 LLaVA-Med，這是一種用于生物醫(yī)學的多模式 AI 助手，可以處理圖像和文本。

使用生物醫(yī)學圖像文本對應(yīng)大型數(shù)據(jù)集來訓練多模態(tài) AI 模型。該數(shù)據(jù)集包括胸部 X 光、MRI、組織學、病理學和 CT 圖像等。首先，該模型學習描述此類圖像的內(nèi)容以及重要的生物醫(yī)學概念。然后，使用GPT-4生成的指令數(shù)據(jù)集對 LLaVA-Med（生物醫(yī)學的大型語言和視覺助手）進行訓練。

該數(shù)據(jù)集由 GPT-4基于生物醫(yī)學文本創(chuàng)建，其中包含有關(guān)每個圖像的所有信息，可用于生成有關(guān)圖像的問答。微調(diào)，然后在圖像和相應(yīng)的 GPT-4示例上訓練 LLaVA-Med。結(jié)果是一個可以用自然語言回答有關(guān)生物醫(yī)學圖像的問題的助手。

使用的訓練方法允許 LLaVA-Med 在不到15小時的時間內(nèi)在八個 Nvidia A100GPU 上進行訓練。它基于Vision Transformer和Vicuna語言模型，后者又基于 Meta 的LLaMA。據(jù)該團隊稱，該模型具有“出色的多模式對話能力”。在用于回答視覺問題的三個標準生物醫(yī)學數(shù)據(jù)集上，LLaVA-Med 在某些指標上優(yōu)于之前的最先進模型。

LLaVA-Med 等多模式助手有朝一日可以用于各種生物醫(yī)學應(yīng)用，例如醫(yī)學研究、復雜生物醫(yī)學圖像的解釋以及醫(yī)療保健中的對話支持。

研究團隊表示:“雖然我們認為 LLaVA-Med 代表了朝著構(gòu)建有用的生物醫(yī)學視覺助手邁出的重要一步，但我們注意到 LLaVA-Med 受到許多 LMM 常見的幻覺和弱深度推理的限制未來的工作將側(cè)重于提高質(zhì)量和可靠性。”。

（舉報）

關(guān)鍵詞：