Skip to main content

Bruk av BigQuery

Det finnes mange forskjellige måter å bruke BigQuery på. Du kan eksempelvis bruke BigQuery fra:

  • Google Cloud Console
  • Egen maskin (via bq eller et SQL-verktøy)
  • Jupyter Notebooks, eksempelvis i Google Colab
  • Egenskrevne applikasjoner

Bruke BigQuery fra Google Cloud Console​

Den desidert enkleste måten å komme i gang med BigQuery på er via Google Cloud Console. Her kan man bl.a. utforske eksisterende datasett, deres skjema og kjøre SQL-spørringer direkte i nettleseren.

Eksempel på bruk av BigQuery i Google Cloud Console.

Besøk BigQuery i Google Cloud Console

Koble seg til BigQuery fra PowerBI​

For å koble seg til BigQuery fra PowerBI anbefaler vi å følge denne guiden., men i tillegg trengs det et ekstra steg. Alle spørringer i BigQuery må kjøre i et prosjekt, og dette prosjektet trenger ikke å være det samme prosjektet hvor dataene ligger. Dette prosjektet må være et prosjekt som du har tilgang til å opprette ressurser i. For datavitere er dette typisk prosjektet du har fått tildelt som har et navn på formen saga-<navn>-playground-<suffix>.

Dermed skal du gå inn i avanserte innstillinger og sette feltet "Billing Project ID" til ditt prosjekt.

Koble seg til BigQuery fra kommandolinje på egen maskin​

For å kalle BigQuery fra egen maskin må du ha satt opp autentisering. Den enkleste måten å gjøre dette på er å bruke Google Cloud CLI (gcloud).

Når du har fulgt installasjonsveilederen i linken over, kan du kjøre følgende:

gcloud auth login
gcloud auth application-default login

For hver av disse vil du få opp en nettside der du må godkjenne innlogging med din <fornavn.etternavn>@vegvesen.no-bruker.

Før du kan begynne å gjøre spørringer bør du sette opp default project og default quota project (sett inn IDen til ditt prosjekt):

gcloud config set project saga-olanor-playground-1234
gcloud auth application-default set-quota-project saga-olanor-playground-1234

Laste opp egne datasett​

Hvis du har egne datasett liggende i CSV eller JSON-format og ønsker å bruke disse til analyse i BigQuery kan du følge Googles guide for CSV, JSON og mange andre formater.

Laste ned datasett og resultater​

Det finnes mange måter å hente data ut fra BigQuery på. Her følger en forklaring på hvordan datasett og resultat av spørringer i BigQuery Cloud Console enkelt kan eksporteres som JSON.

For å kunne eksportere data må du først ha opprettet en GCP-bruker og et prosjekt.

  1. Gå til Målestasjoner-datasettet i BigQuery.

Prosjektet i prosjektvelgeren skal være satt til ditt personlige prosjekt. Det gjør at du får lov å kjøre spørringer mot BigQuery.

  1. Legg inn følgende spørring:

    SELECT
      ANY_VALUE(navn) navn,
      ANY_VALUE(lokasjon) lokasjon,
      MIN(lufttemperaturCelsius) minTemperatur,
      MAX(lufttemperaturCelsius) maksTemperatur,
      DATE(maaletidspunkt, "Europe/Oslo") dato
    FROM `saga-vegvar-prod-znny.standardized.maaledata` md
    JOIN `saga-vegvar-prod-znny.standardized.maalestasjoner` ms
      ON md.maalestasjonId = ms.id AND md.maalestasjonVersjon = ms.versjon
    WHERE DATE(maaletidspunkt, "Europe/Oslo") BETWEEN "2022-01-01" AND "2022-01-07"
    GROUP BY ms.id, ms.versjon, dato
    ORDER BY dato, navn

Denne spørringen vil hente ut alle minimums- og maksimumstemperaturer mellom 1. og 7. januar 2022.

  1. Kjør spørringen, og velg så SAVE RESULTS.

Lagre resultater i BigQuery console

  1. Du vil få spørsmål om ulike lagringsmuligheter. Velg for eksempelvis JSON (local file). Denne nedlastingen støtter opp til 16 000 rader.

Deretter kan du åpne JSON-filen i et tekstredigeringsprogram, som eksempelvis Visual Studio Code.

Vise JSON-data i VS Code

Dataen kan prosesseres videre offline, ved hjelp av verktøy som jq, eller lastes inn i et annet analyseprogram, som Excel, Data Studio eller Power BI.