데이터분석2016. 6. 10. 12:07

7일차에 올린 내용에 이어서 올릴려고 하니 Tistory에서 에러를 뱉어서 별도로 빼서 올립니다. ㅜ.ㅜ




Update


네 업데이트입니다. 마저 끝내겠습니다. 


경쟁업체가 오픈하면 어떤일이 벌어질까요? 이 효과를 평과하기 위해 우리는 가게중 처음 CompetitorDistance 의 값이 NA로 되어 있다가 후에 의미있는값으로 채워지는 것을 가져옵니다.

특정 날짜가 아닌 경쟁업체의 개업 달만 알려져있다고 합니다. 그래서 우리는 효과를 보기 위해 꽤 큰 window 하다고 합니다.(100일) 

위에 볼드체로 원문에도 적혀있는데 무슨말인지 함 보죠. 147개의 가게가 이용가능한 기간동안 그들의 영역에 옮겨왔다고 합니다. 이 경쟁은 기간을 어떻게 잡느냐에 따라 달라지는 판매량에서 움픅 들어간 모습을 보여준답니다. 그래서 우리는 아래 plot에 기초한 통계에 대해서 aruge를 하지 말자고 합니다. 여튼 보는것은 유익하니까요.

# Sales before and after competition opens
train_store$DateYearmon <- as.yearmon(train_store$Date) # 소스가 길어 주석을 달자면 월로 truncate
train_store <- train_store[order(Date)] #  R을 보면서 항상 이런게 대박인것 같습니다. vectorize연산이 이리 쉽게 되죠. Date순으로 order줍니다.
timespan <- 100 # Days to collect before and after Opening of competition 

그리고  바로 함수를 만듭니다. 실제로 이 함수를 만들어서 list에 verctorize연산을 할려고 합니다. 인자로 받은 가게와 일치하는 가게들만 뽑아서 아까 truncate한 DateYerMon하고 경쟁업체 개업월을 비교하죠 그게 daysWithComp에 담기고  TTTT가다가 FFFF 로 되겠죠. 그리고 그 사이에 경쟁업체 개장월이  경계에 있을테고.  그럼 여기에서 FFF가 있어야만 해당 가게가 운영하다가 경쟁업체가 없다가 생긴걸로 판단이 되겠죠? 당근??! 그래서 any()를 써서  있다면 comOpening(경쟁업체 오픈되는 시점의  인덱스)를 구하고 그리고 timespan즉 100일이 전후로 있다고 하면  그 부분만 잘라서 리턴을 하는거죠 comOpening 시점으로 앞뒤 100일치의 데이터를 말이죠!! 그래서 코드는 다음과 같네요.

beforeAndAfterComp <- function(s) {
    x <- train_store[Store == s]
    daysWithComp <- x$CompetitionOpenSince >= x$DateYearmon
    if (any(!daysWithComp)) {
        compOpening <- head(which(!daysWithComp), 1) - 1
        if (compOpening > timespan & compOpening < (nrow(x) - timespan)) {
           x <- x[(compOpening - timespan):(compOpening + timespan), ] 
            x$Day <- 1:nrow(x)
            return(x)
        }
    }
}

자 이제 r 함수를 만들었죠. 전에도 언급했으나 모르겠으나 여튼 여기 함수를 만든건 처음인듯 . 뭐 자바스크립트랑 별반 다르지 않네요. 벡터연산이 있다는 거 말고는

그리고 뭘해야할까요? 네 이 함수를 전체 데이터에 적용해서 가게별로 뽑아서 list를 만들어볼까합니다.   바로 unique()를 써서 store를 unique하게 뽑고 바로 우리가 위에 만든 함수를 돌려서 temp라는걸 만듭니다요.  그리고 이걸 row로 붙여줍니다. 뭐시냐.. do.call은 앞의 인자가함수고 그다음 인자가 함수에 들어갈 파라메터라고 보시면 됩니다. temp가 storeId별 list로 되어있는걸  하나의 list로 만들어주고  그 row가 147개 정도의 데이터가 되는걸 볼수 있습니다.

temp <- lapply(unique(train_store[!is.na(CompetitionOpenSince)]$Store), beforeAndAfterComp)
temp <- do.call(rbind, temp)
# 147 stores first had no competition but at least 100 days before the end
# of the data set
length(unique(temp$Store))
## [1] 147

자 한번 만든걸 뿌려보죠!


ggplot(temp[Sales != 0], aes(x = Day, y = Sales)) + 
    geom_smooth() + 
    ggtitle(paste("Competition opening around day", timespan))
## geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method.


확실히 전후로 매출에 변화가 급감하였다가  다시 회복하는 기조를 보이네요..


그리고 마지막입니다. 드디어.. 후화 vote를 제일 많이 받은 녀석이기도 해서 그런지 길이도 어마어마하네요. 제가 본 exploratory analysis 중에 가장 length가 깁니다...

여튼 끝낼게요. 다른 plot을 가져옵니다. Seaonal plot(spsrini)이라고 합 대신에 missing value나 closed store 대신하여 더 값을 잘표현할수 있는 평균값으로 보여주는 plot이라고 합니다.

판매량 평균값으로 계절 추이를 볼수 있는거 같습니다. 

temp <- train
temp$year <- format(temp$Date, "%Y")
temp$month <- format(temp$Date, "%m")
temp[, StoreMean := mean(Sales), by = Store]
temp <- temp[, .(MonthlySalesMean = mean(Sales / (StoreMean)) * 100), 
             by = .(year, month)]
temp <- as.data.frame(temp)
SalesTS <- ts(temp$MonthlySalesMean, start=2013, frequency=12)
col = rainbow(3)
seasonplot(SalesTS, col=col, year.labels.left = TRUE, pch=19, las=1)



결론


우선 몇차례 올리진 않았지만 본 script중에 가장 잘 정리가 된 kaggle script인것 같습니다. 저도 인사이트도 얻고 지금 계획 중인 아이디어 하나에 실제 접목도 하고 싶은 생각이 드네요. 그럼 토요일이나 일요일쯤.. 뭐 Google calendar의 setting된 goal이 알려주는데로 또 글을 올리겠지만 여튼 수고하세요!!










'데이터분석' 카테고리의 다른 글

킥오프용 문서입니다  (0) 2017.04.24
Kaggler's Day #9  (0) 2017.01.12
Kaggler's Day #7  (0) 2016.06.08
Kaggler's Day #6  (0) 2016.05.31
Kaggler's Day #5  (0) 2016.05.27
Posted by 억사마