<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 18, 2014 at 11:01 AM, Bill Allombert <span dir="ltr"><<a href="mailto:ballombe@debian.org" target="_blank">ballombe@debian.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Thu, Sep 18, 2014 at 10:06:07AM -0400, Pavan Gupta wrote:<br>
> On my first question, I was essentially looking for a database schema.  My<br>
> goal was to discern whether you were collecting any kind of metadata about<br>
> the final data you are aggregating and presenting.  Generally, answering<br>
> that question openly may still be of value for people interested in<br>
> understanding how the data they deliver to popcon is being collected and<br>
> processed.<br>
<br>
</span>We do not use a database. Instead we store reports (meaning the output of<br>
/usr/sbin/popularity-contest) as they are received, keeping exactly one<br>
by HOSTID (see /etc/popularity-contest.conf).<br>
The amount of data stored is about 10GB. We update 1/7th of that everyday.<br>
<span class=""><br></span></blockquote><div><br></div><div>The HOSTID being effectively tagged to the data is fantastic.  You can certainly do some basic clustering with that, but with the data rolling over every week, you do lose a little bit of the power to see how packages might forecast other packages especially if that historical raw data is lost forever.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">
> And no problem, I shall look to solve this problem elsewhere.  Keep up the<br>
> great work!<br>
<br>
</span>Well, there might be people on this list with more experience than me in<br>
datamining popcon.<br></blockquote><div><br></div><div>And it looks like this may already have found an implementation through the Ubuntu's software-center recommendation service.  They call out in some of their arch documents an overlap with popcon - - why they would reinvent the wheel is weird to me -- but it looks like they might be collecting data differently and more deeply to achieve a similar popcon objective with recommendations on top.  Reading their stuff, I couldn't help but think writing up a fresh strategy for recommendations is wasteful.  Has this team coordinated at all with them?  </div><div><br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="HOEnZb"><div class="h5"><br>
Cheers,<br>
--<br>
Bill. <<a href="mailto:ballombe@debian.org">ballombe@debian.org</a>><br>
<br>
Imagine a large red swirl here.<br>
</div></div></blockquote></div><br></div><div class="gmail_extra">-P</div></div>