| ページ一覧 | ブログ | twitter |  書式 | 書式(表) |

MyMemoWiki

「BigQuery」の版間の差分

提供: MyMemoWiki
ナビゲーションに移動 検索に移動
 
(同じ利用者による、間の4版が非表示)
7行目: 7行目:
 
*BigQuery はデータのインポート元として、 Google Cloud Storage 、 File Upload 、 Google ドライブをサポート
 
*BigQuery はデータのインポート元として、 Google Cloud Storage 、 File Upload 、 Google ドライブをサポート
 
*操作はすべて Web の UI から行える
 
*操作はすべて Web の UI から行える
 +
===Document===
 +
*https://cloud.google.com/bigquery/docs?hl=ja
 +
====クライアントライブラリの使用====
 +
*https://cloud.google.com/bigquery/docs/quickstarts/quickstart-client-libraries?hl=ja
  
 +
===Consle===
 
*https://console.cloud.google.com/bigquery
 
*https://console.cloud.google.com/bigquery
  
 +
==Tips==
 +
===一般公開データセット===
 
*https://www.isoroot.jp/blog/2101/
 
*https://www.isoroot.jp/blog/2101/
 
*一般公開データセットのひとつである、Stackoverflow データセットに対してクエリを実行
 
*一般公開データセットのひとつである、Stackoverflow データセットに対してクエリを実行
21行目: 28行目:
 
LIMIT 10
 
LIMIT 10
 
</pre>
 
</pre>
 +
 +
===Cloud StorageからCloud Functions を使用===
 +
*[https://cloud.google.com/solutions/streaming-data-from-cloud-storage-into-bigquery-using-cloud-functions Cloud Functions を使用した Cloud Storage から BigQuery へのデータのストリーミング]
 +
 +
===Firestore エクスポートからのデータの読み込み===
 +
*[https://cloud.google.com/bigquery/docs/loading-data-cloud-firestore?hl=ja Firestore エクスポートからのデータの読み込み]

2020年8月17日 (月) 15:21時点における最新版

| Google Cloud Platform | Angular | Flask | TypeScript | Firebase |

BigQueryとは

  • https://www.topgate.co.jp/gcp12-how-to-analyze-big-data-with-bigquery
  • SQL さえ覚えれば大量のデータを使って集計作業や解析作業を行うことが可能
  • 利用に必要なのはデータを何らかの形で BigQuery にインポートすることだけ
  • BigQuery はデータのインポート元として、 Google Cloud Storage 、 File Upload 、 Google ドライブをサポート
  • 操作はすべて Web の UI から行える

Document

クライアントライブラリの使用

Consle

Tips

一般公開データセット

SELECT 
  title, answer_count, view_count
FROM
  `bigquery-public-data.stackoverflow.posts_questions`
ORDER BY
  view_count DESC
LIMIT 10

Cloud StorageからCloud Functions を使用

Firestore エクスポートからのデータの読み込み