人工智能 (AI) 可以解決世界上一些最大的問題，但前提是每個人都擁有使用它的工具。2024 年 6 月 27 日，人工智能技術領域的領先企業谷歌推出了Gemma 2 9B 和 27B，這是一組輕量級、先進的人工智能模型。這些模型采用與著名的 Gemini 模型相同的技術構建，使更多人能夠使用人工智能，標志著人工智能民主化的重要里程碑。
Gemma 2 有兩種大小：90 億 (9B) 和 270 億 (27B) 個參數，上下文長度為 8K 個 token。谷歌聲稱該模型比第一代 Gemma 模型性能更好、效率更高。Gemma 2 還包含必要的安全改進。27B 模型非常強大，可以與兩倍于其大小的模型相媲美，并且可以在單個 NVIDIA H100 Tensor Core GPU 或 TPU 主機上運行，從而降低成本。
捷智算平臺以實惠的價格提供強大的 H100 和 A4000 等 GPU，為 AI 開發帶來革命性變化，讓更多研究人員和開發人員能夠運行先進的輕量級模型。借助其基于云的平臺，用戶可以輕松訪問高性能 NVIDIA GPU，而成本僅為傳統基礎設施的一小部分。
捷智算云平臺通過降低進入門檻并啟用 Gemma 2 等先進模型來實現人工智能的民主化，從而實現人工智能的包容性和加速進步。那么如何在 A4000 GPU 上運行 Gemma 2模型？下面以捷智算云平臺進行演示，為大家詳細介紹一下！
需要輕量級模型
輕量級 AI 模型對于使先進技術更易于獲取、更高效、更具成本效益和更可持續至關重要。它們支持各種應用。此外，這些模型推動創新并應對全球各種挑戰。
輕量級模型在各個領域都必不可少的原因如下：
速度：由于規模和復雜性降低，輕量級模型通常具有更快的推理時間。這對于實時或近實時數據處理應用（如視頻分析、自動駕駛汽車或在線推薦系統）至關重要。
計算要求低：輕量級模型通常比大型模型需要更少的計算資源（例如內存和處理能力）。這使得它們適合部署在功能有限的設備上，例如智能手機、物聯網或邊緣設備。
可擴展性：輕量級模型更易于跨多種設備或用戶進行擴展。這種可擴展性對于用戶群廣泛的應用程序（例如移動應用程序）尤其有利，因為在這些應用程序中部署大型模型可能不可行。
成本效益：輕量級模型可以降低與部署和維護 AI 系統相關的運營成本。它們消耗更少的能源，并且可以在更便宜的硬件上運行，使企業和開發人員更容易獲得它們，并且更經濟。
在資源受限的環境中部署：在互聯網連接不可靠或帶寬有限的環境中，輕量級模型可以有效運行，而無需持續訪問云服務。
像 Gemma 2 這樣的輕量級模型至關重要，因為它們允許更多人和組織利用先進的人工智能技術，推動創新，并為各種挑戰創造解決方案，同時注意成本和可持續性。
Gemma 2 簡介
Gemma 2 是 Google 最新推出的開源大型語言模型 (LLM)，其模型參數有 90 億 (gemma-2-9b) 和 270 億 (gemma-2-27b)，包括指令微調變體。這些模型在大量數據集上進行訓練 — — 27B 版本有 13 萬億個標記，9B 版本有 8 萬億個標記 — — 其中包括網絡數據、英文文本、代碼和數學內容。Gemma 2 的上下文長度為 8,000 個標記，由于數據管理的改進和訓練數據集的擴大，它在語言理解和文本生成等任務中提供了增強的性能。Gemma 2 在寬松的許可下發布，支持重新分發、商業使用、微調和衍生作品，促進了人工智能應用的廣泛采用和創新。一些技術增強包括交錯局部全局注意力和群組查詢注意力。此外，2B 和 9B 模型利用知識提煉而不是下一個標記預測，從而相對于其大小具有更優異的性能，并且是比其大 2-3 倍的模型具有競爭力的替代方案。
Gemma2 性能
在 Gemma 2 的訓練過程中，我們遵守了嚴格的安全規程。其中包括篩選訓練前數據，并針對各種指標進行全面測試，以檢測和解決潛在的偏見和風險。
Gemma 2 性能
Gemma 2 的 9B 和 27B 指令評估
探索 Gemma 2 的強大功能：捷智算平臺演示
我們已成功使用 Ollama 和 NVIDIA RTX A4000 測試了該模型！查看我們關于下載 Ollama 和訪問任何 LLM 模型的有用文章。此外，Gemma2 可與 Ollama 無縫協作。
準備好下載模型并開始嗎？
在開始之前，讓我們收集一些有關 GPU 配置的信息。
nvidia-smi
ollama run gemma2
您會驚訝于使用先進的 A4000 機器檢索模型的速度有多快！只需幾秒鐘，您就可以與模型進行精彩的聊天。
1、發人深省的問題：神經網絡如何工作，并解釋其關鍵組成部分？
轉眼間，模型就生成了輸出。
2、兩難問題：假設你是一名醫生，有五個病人，他們都需要器官移植才能活下來，但你沒有任何器官。有一天，一個擁有兼容器官的健康人被送進醫院進行例行檢查。如果你使用這個健康人的器官，你可以拯救你的五個病人。然而，這意味著犧牲來例行檢查的健康人。你應該怎么做？為什么？
3、編碼：編寫一個函數，通過填充空單元格來解決數獨難題。數獨難題是一個 9x9 網格，目標是填充網格，使每行、每列以及九個 3x3 子網格中的每一個都恰好包含一次從 1 到 9 的數字。空單元格用字符“。”表示。
輸出：-
def solveSudoku(puzzle):
"""
Solves a Sudoku puzzle.
Args:
puzzle (list): A list of strings representing the Sudoku puzzle.
Returns:
list: A list of strings representing the solved Sudoku puzzle.
"""
# Iterate over the rows, columns, and subgrids.
for row in range(9):
for col in range(9):
if puzzle[row][col] == '.':
# Check if the number is already in the row, column, or subgrid.
for i in range(9):
if puzzle[row][i] != '.' and puzzle[i][col] != '.' and puzzle[row][col] == puzzle[i][col]:
continue
# Find the possible numbers for the cell.
possible_numbers = set()
for i in range(1, 10):
if not is_valid(puzzle, row, col, i):
possible_numbers.add(i)
# Try each possible number.
for number in possible_numbers:
puzzle[row][col] = str(number)
if solveSudoku(puzzle):
return puzzle
puzzle[row][col] = '.'
# If no solution is found, return the original puzzle.
return puzzle
# Helper function to check if a number is valid for a cell.
def is_valid(puzzle, row, col, number):
for i in range(9):
if puzzle[row][i] == str(number) or puzzle[i][col] == str(number):
return False
for i in range(3):
for j in range(3):
if puzzle[row // 3 * 3 + i][col // 3 * 3 + j] == str(number):
return False
return True
```
**Explanation:**
* The `solveSudoku` function iterates over the rows, columns, and subgrids of the Sudoku puzzle.
* For each empty cell, it checks if the number is already in the row, column, or subgrid.
* It then finds the possible numbers for the cell and tries each one.
* If a solution is found, it returns the solved puzzle. Otherwise, it returns the original puzzle.
* The `is_valid` function checks if a number is valid for a cell by ensuring that it is not already in the row, column, or subgrid.
**Example Usage:**
```python
# Example Sudoku puzzle.
puzzle = [
['5', '3', '.', '.', '7', '8', '.', '.', '.'],
['.', '7', '4', '6', '.', '5', '8', '9', '.'],
['.', '.', '8', '.', '9', '1', '.', '6', '.'],
// ... Rest of the puzzle.
]
# Solve the Sudoku puzzle.
solution = solveSudoku(puzzle)
# Print the solved puzzle.
print(solution)
```
結論
SOTA 模型 Gemma 2 所展示的進步在 AI 領域具有開創性意義。Gemma 2 的配置利用了 90 億和 270 億個參數，展示了性能、效率和關鍵安全性的提升。它可以與兩倍于其大小的模型相媲美，并且可以在單個 NVIDIA Tensor Core GPU 或 TPU 主機上經濟高效地運行，使更廣泛的開發人員和研究人員能夠使用高級 AI。Gemma 2 的開源性質、廣泛的培訓和技術增強凸顯了其卓越的性能，使其成為 AI 技術的關鍵發展。
