Google Cloud BigQuery傳輸問題

在 GCE VM 上，使用 Python Client BigQuery API查詢資訊時，如果有遇到Network 導出傳輸速率非常慢的情形。可以先嘗試排除配置不足的傳輸問題，但如仍有此情況。則可以安裝Google Cloud BigQuery Storage。

 

因目前Google Cloud 上 BigQuery 的用戶主要為以下兩種訪問的方式：

1.使用 tabledata.list 或 jobs.getQueryResults REST API 方法存取基於記錄的分頁。 BigQuery API以分頁方式提供結構化的行響應，適合小型結果集。

2.使用 BigQuery 提取作業批量導出數據，將表數據以各種文件格式（如 CSV、JSON 和 Avro）導出到 Cloud Storage。數據的導出受到每日配額和導出過程的批處理性質的限制。

而透過BigQuery Storage Read API 提供了第三個對先前選項的改進。 當使用 Storage Read API 時，結構化數據以二進制序列化格式通過網絡發送。 這使得一組結果的多個使用者之間可以有額外的並行性。
但Storage Read API 不提供與管理 BigQuery 資源（例如數據集、作業或表）相關的功能。