更少的聊天量導致更多的機器學習工作

很多文章的報道都是由微觀而宏觀，今日小編講給大家帶來的關于更少的聊天量導致更多的機器學習工作的資訊也不例外，希翼可以在一定的程度上開闊你們的視野！y有對更少的聊天量導致更多的機器學習工作這篇文章感興趣的小伙伴可以一起來看看
該團隊正在使用對并行計算的深入分析來加速大規模機器學習。
【更少的聊天量導致更多的機器學習工作】通過解構和分析大規模并行計算中使用的久經考驗的方法，由KAUST領導的協作開辟了一個突破性的框架，可進行大規模有效的并行計算。該框架與機器學習中優化所需的處理類型特殊相關。
“并行化”優化或數據處理任務使任務可以分布在許多計算節點之間。理想情況下，這會將計算所需的時間除以征募到該任務的節點數。然而，伴隨并行化，需要在節點之間傳遞越來越多的信息，這意味著在實踐中永遠無法實現理想的加速程度。

“在分布式優化中，常見的問題是通信瓶頸，”視覺計算中心的Konstantin Mishchenko解釋說。“假設您有一臺具有四個內核的計算機，并且希翼在具有16個內核的新計算機上運行并行化程序。自然，您希翼新計算機的運行速度快大約四倍。但是，即使新計算機具有四倍于總計算能力的資源，大部分是在每次模型更新時通過同步內核來占用的，這種通信瓶頸降低了增加內核數量的積極影響，并且在我們將內核數量擴展到數百或數千時變得更加嚴峻。”
彼得·里奇塔里克(PeterRichtárik)小組的最新研究已通過兩種方式解決了這個問題：通過改善每次同步傳遞的信息的壓縮率，以及對學習算法進行泛化，使其可用于任何壓縮方案。
米申科說：“最難理解的是為什么現有觀念總是可行。”“通常，研究人員首先推測需要使用什么技巧，然后才開始理解它為什么起作用。這正是我們所做的：通過使用簡單的反例，我們重新分析了兩個眾所周知的技巧，并意識到是使用它們的更好方法。”
這些技術稱為量化和隨機稀疏化，是通常在隔離中使用的壓縮方法。通過結合并且至關重要地僅壓縮新信息和先前更新之間的差異，該團隊在數學上證明了可以在減少信息丟失的情況下實現更有效的壓縮方案。
米什琴科說：“最重要的一點是，這種新技術可以壓縮當前信息與先前信息之間的差異，而不僅僅是新信息本身，可以確保在進行壓縮時丟失的信息更少。”“而且我們已經在實驗中證明并觀察到，使用我們的方法進行縮放比更接近理想值。”
另一個發現將學習算法推廣到一系列不同的優化任務中，從而使其可與任何壓縮方案一起使用。
研究小組的塞繆爾·霍瓦斯(Samuel Horvath)說：“我們的動機是創建一個不依賴任何特定壓縮方案的通用理論，以了解壓縮對分布式訓練的影響。”
使用該理論可以構建用于分布式計算的算法，而不會浮現優化不完全和不依賴現有方法所面臨的特定壓縮方案的問題。
Horvath說：“這項工作有助于我們更好地理解不同壓縮方法的效果，并幫助我們針對給定的問題選擇正確的壓縮方案。”

青青草免费线看线看|啊在车上停不下来了|国产少女免费观看电视剧|仑乱88MAV|精品老司机在线观看视频|国产一区二区三区高清免费视频|在线观看免费777av

更少的聊天量導致更多的機器學習工作

猜你喜歡