빅데이터 분석에서 제일 많이 사용되는 자료형은 문자열이다. 문자열 자료형은 범용적인 자료형으로 더 세부적으로 분해해서 사용해야 한다. 앞에서 사용한 접근 로그 샘플을 기반으로 페이지 계층을 나누어 보았다. 배열의 인덱스는 일반적으로 1로 시작한다. 하지만 빅쿼리는 배열의 인덱스를 0부터 시작하고자 하면 OFFSET, 1부터 시작하고자 하면 ORDINAL을 지정한다. 추가로 배열의 길이 이상의 인덱스에 접근하고자 하면 보통 NULL값이 나오지만 빅쿼리는 오류를 리턴한다. NULL로 리턴하고자하면 SAFE_OFFSET or SAFE_ORDINAL을 지정해야 한다는 점을 유의하자!

현장에서 분석 요건과 로그 조건을 검토하지 않고 최소한의 요건만 저장해두는 경우가 있습니다. 이때 url을 기반으로 요소들을 추출해봅시다. 첫 번째로 referrer를 이용하여 어떤 웹페이지를 거쳐 왔는지 판별해봅시다. net.host 함수를 사용했습니다. Net 함수 | BigQuery | Google Cloud 의견 보내기 Net 함수 NET.IP_FROM_STRING NET.IP_FROM_STRING(addr_str) 설명 IPv4 또는 IPv6 주소를 텍스트(STRING) 형식에서 네트워크 바이트 순서의 이진(BYTES) 형식으로 변환합니다. 이 함수는 addr_str에 다음 형 cloud.google.com URL에서 경로와 요청 매개변수 값을 추출 상품과 관련된 레포트 작성 시 어떤 상품이 열..

http://www.kyobobook.co.kr/product/detailViewKor.laf?mallGb=KOR&ejkGb=KOR&barcode=9791162240601 데이터 분석을 위한 SQL 레시피 - 교보문고 데이터 처리부터 매출/유저 파악, 리포팅 등 각종 데이터 분석과 활용까지 | 데이터 처리부터 매출·유저 파악, 리포팅 등 각종 데이터 분석과 활용까지!현장에서 데이터 분석에 필요한 실전 SQL www.kyobobook.co.kr 이 책에 나오는 내용을 토대로 제가 공부하는 내용을 정리해보겠습니다. 저는 구글 빅쿼리를 사용하겠습니다. 먼저 첫 번째로 코드 값을 레이블로 변경하는 내용입니다. 로그 데이터 또는 업무 데이터로 저장된 코드값을 그대로 집계에 사용하면 리포트의 가독성이 낮아진다. 따..

인생은 반복 Plan - 계획을 세움 Do - 계획을 실행 Check - 실행결과를 확인 Act - 개선점을 모색 자신에게 맞는 공부법을 찾아라! 읽기를 잘하는 사람 - 책이나 블로그 듣기를 잘 하는 사람 - 유튜브 의식적인 회고 1주일에 한 시간만 자신을 돌아보는데 쓰자 - 토요일 혹은 일요일에 일어나자마자 본인을 객관화 - 나의 장점은? 나의 단점은? 나는 뭘 하고 싶은가? 뭘 잘하는가? 하기 싫어하는 것은 무엇인가? 스스로의 활동을 체크하고 개선점을 모색 희망 이력서를 하나의 목표지점으로 설정 이력서의 스킬 항목 하나하나를 단기 목표로 설정 -한 주에 한 개라도 새로운 지식/스킬을 얻을 수 있다면 매우 성공적인 것! 전문가가 되려면 전문가처럼 생각하고 행동하라 전문가의 생각을 훔쳐보자 - Githu..

IT취업 동아리 3주 차 내용을 정리해보고자 한다. 경쟁력을 지니는 전문 영역을 정할 것 데이터 분석 - 게임, 금융, 바이오 등 머신러닝 - 오류 탐지, CV, NLP, 추천 검색 등 백엔드 - 자바 - 경량화 웹 프레임 워크(lightweight web framework) - 마이크로 서비스 - 컨테이너 프론트엔드 -서버리스 DevOps/MLOps -클라우드 솔루션 T자형으로 기술을 습득! ㅣ : specialist + ㅡ: generalist T: Generalising Specialist 잔디 심기 알고리즘 공부 - 주력 언어에 대한 알고리즘 문제 풀이를 매일 진행 백준, Programmers, LeetCode, HackerRank - 최대한 스스로 풀어 보려 하되 너무 많은 시간을 쓰진 말 것!..

2주 차 내용을 정리해보고자 한다. 취업을 위한 습관 만들기 관련 유튜브 보기 관련 블로그 읽기 관련 책 읽기 관련 커뮤니티 가입하기 좋은 습관들 타이핑 연습하기 단축키 사용하기 적절한 툴 사용하기 시간 확보 365일 무조건 확보 가능한 시간대는 언제인가?? ( 나에게는 저녁 이후와 새벽) 시간에도 품질이 있다 - 집중할 수 있는가? - 끈임없이 쓸 수 있는가? 몰입을 연습하라 -몰입에 방해되는 것들은 무엇인가? 지원 포지션을 명확하게 정의할 것 우선 채용공고들을 찾아보고 분석 자주 등장하는 필수 요구사항 및 우대사항을 나열 잘 모르는 것이 있을 때는 무엇인지 조사 희망 이력 작성법 공개된 장소에 만들 것- github 한눈에 들어오게 간추려라 최 상단에는 이메일, 블로그 주소, 깃헙주소가 있어야 함 자..