An important operation: DOT PRODUCT

• An important operation: DOT PRODUCT

The dot product is a single number, a SCALAR that you form by multiplying two vectors

      V          W                         

 

           

         = 1*2 + 0*8+2*(-6)+5*1+(-2)*0 =-5

 

Dot product is a single number that represents the relationship between these two vectors. It underlies nearly all of the important computations in signal processing. In statistics, the dot product is the basis for the CORRELATION COEFFICIENT, and also underlines covariance for COVARIANCE  matrices.

• Linear least-squares models

 

 

Things are the same when we have a matrix A, not a vector 

 

matlab code x= inv(A'*A)*A'*b   OR  x= (A'*A) \ A'*b 
In statistics  we have 

 

 

where X (or A) is design matrix, and  BETA (or x) is weights, Y (or b) is actual data we collect.

 

• The magic  

1. It's square ( A=A transpose)
2. It's symmetric

   

 

The diagonals contain the variances and the off diagonal contain covariances.

Variances: 

Covariance:   

 

-1<R(correlation)<1 ( 0.8<|R|<1 strong correlation; 0.5<|R|<0.8, moderate)

 is more convenient to explain. Now, when someone says "The statistically significant R^2 was 0.9" you can think to yourself.."very good! the relationship between the two variables explain 90% of the variation in the data!" And when someone else says "The statistically significant R^2 was 0.01" you can think to yourself "Dag, who cares if that relationship is significant, if only accounts for 1% of the variation in the data. Something else must explain the remaining 99%".

Standard Error is the average distance of the data points from the regression line, in dependent variable unites. It gives us a measure of how tightly around the regression line our data points are.  

 

 

选择一个好看的自杀方式

问题只有一个：知道自己的价值。不过知道之前，得先把苏格拉底摆一边。想认识自己，就得采取行动，但这并不是说我们就可以自己下定义。我每次回顾自己人生中那不为人知的一面，内心就会有一股想哭的颤动。我既是那些被我吻过的嘴唇，也是“临世之屋”里的那些黑夜。那个有时候会被一股活下去，爱那个成功的狂热给冲昏头的穷小子。很多认识我的人，这些时候就不认得我了。而我，我一直觉得自己跟我所生活的这个社会一样没人性。                                                                                                                                                                                                                                                                                                        

激情这个字眼在字意上有灵魂受苦的意思。因为这个字的用法让我们想起的大多都是惊人而且无法自制的热切，以至于忘了这其实是一种痛苦（骄傲--挑战）。

这是愈辩愈明的道理：要觉得人生可以简单又美好，就得未曾经历它。

如果会发生冲突，那是因为有什么东西值得我们这样。除非在深入了解之后……不。会让我想逃的，无疑不是怕让自己定下来，而是怕自己会定在一种毫无美感的东西里面。

选择一个好看的自杀方式：结婚+朝九晚五，或，左轮手枪。

Multiple linear regression (1)

In multiple regression, each coefficient is interpreted as the estimated change in y corresponding to a one unit change in a variable, when all other variables are held constant. For example: 

So in this example, dollar 9000 is an estimate of the expected increase in sales y, corresponding to a dollar 1000 increase in capital investment x1, when marketing expenditures x2 are held constant.

New considerations:

• Adding more independent variables to a multiple regression procedure dose not mean the regression will be "better" or offer better predictions; in fact, it can make things worse, i.e., OVERFITTING.

• The addition of more independent variables creates more relationships among them. So not only are the independent variables potentially related to the dependent variable, they are also potentially related to each other. When this happens, it is called MULTICOLLINEARITY.

• The ideal is for all of the independent variables to be correlated with the dependent variable but NOT with each other.

Multiple linear regression lingo

Low bias? Low variance?

-- It depends

-- Typically unbiased is better

-- Sometimes the variance is so out of control. You sacrifice a little bias to fix the variance

• Ridge regression
• Lasso

转捩点

9月

为了回到孤独的状态，我们必须很辛苦地奋战。然后，有一天，这大地露出了它原始而天真的笑容。霎那间，我们内心的各种交战和活力似乎都被抹杀了。也许我眼前的景物已经被好几百万只眼睛注视过了，但对我而言，它宛如这世界浮出的第一抹微笑。它让我陷入了一种“不能自己”--就文字的深层意义而言--的状态。它让我确信一旦没有了爱，万般皆徒然，甚至爱本身，如果动机不纯正或别有目的，对我来说同样一文不值。它拒绝承认我是有个性的，对我的痛苦不予回应。这个世界很美，一切尽在其中。它耐心地宣扬它的伟大真理：那些所谓的精神和心灵，其实都是空虚。而在这个由骄阳下的发烫石头，晴空下更显高大的柏树所界定出来的，独一无二的天地中，“正确”的意思是“无人的自然”。它带着我直到尽头。它心平气和地否定了我。而我，心悦诚服地，朝着某种圆融的智慧前进--如果我不这样热泪盈眶，如果我想要嚎啕大哭的诗心未曾令我将这世界的真理抛诸脑后。

9月15日

今天，我似乎从自己过去和逝去的人生中解脱出来了。我觉得我的人生就像一块被反复揉捏的热面团，我只想把它掌握在自己的双手上。好比搭乘那种长途夜间火车，在车上我们可以和自己对话，准备之后的行程，独处，用不可思议的耐心去爬梳那些念头，不让它们四处乱窜，然后继续向前推进。舔舐自己的生命，仿佛那是一颗麦芽糖，塑造它，磨砺它，爱它，又像在寻找最后那个斩钉截铁，可以作为结论的字眼，形象的句子，带着它出发，从此通过它来观看一切。我大可留下，为这一年来的疲于奔命画上句点，我一定会努力地将这场和自己的面对面一直延续到底，让它照见我 在今生今世中的每一张脸，即使必须要付出难以负担的寂寞代价亦在所不惜。必要退让：这一语已道尽。不要妥协，不要背叛。我会竭尽全力去达成某个境界，在那儿和我的所爱会合，接着，我俩将以最大的热情去做那些构成我每日生活意义的事。

我们一旦对自己的虚荣心让步，一旦我们为了表现而活，那就是在背叛了。每一次，都是那种想要表现的可怜心态，让我在真相面前更显得渺小。我们并不一定要把心事对人说，但对自己所爱的人就不同了。因为在这种情况下，说出心事并不是为了表现自己，而是为了付出。那种在适当时候才显现出来的人，他的力量大多了。坚持到底，就是懂得保守秘密。我曾因孤独而苦恼，但因为不曾说出来，最后还是克服了那种孤单的痛苦。然而今天，我发现最大的荣耀竟是能够默默无闻且孤单地活着。写作，我深刻的喜悦！认同这个世界和接受享乐——但唯有在赤贫之中。如果我连对自己都无法赤裸，我就不够资格去喜爱那赤裸裸的沙滩。这是我第一次确地地掌握到快乐这个字眼的含义，它和我们一般理解到的我很快乐竟然拿有点相反。

人若持续地绝望了一阵子以后，会感到喜悦。同样这些在圣方济各修道院里隐修的人，朝暮与红花相对，斗室里则摆着骷髅头以启冥思。窗外是佛罗伦萨，桌上是死。如果我觉得自己正处在转捩点上，并非因为我已经争取到了什么，而是失去了什么。我感到自己有一些很极端且深刻的力量。幸好有这些力量，我才能去过我想要的生活。如果今天的我远离一切，那是因为除了爱和仰望，我别无所能。连上交织着泪光和阳光的人生，没有盐巴的人生和热石头，一如我所爱，所渴望的人生，我一面怀想着，觉得似乎我所有绝望和爱的力量因此集合起来了。今天并非介于肯定与否定之间的中途站，而是两者皆是。否定并抗拒一切非关泪水和阳光者。肯定的是我这个第一次让我觉得还有点希望的人生。历经了这一整年的焦灼和混乱，我来到了意大利；未来还不确定，但已经完全从我的过去和自我之中解脱出来了。我的穷困就是我的特殊财富。这就好像我可以重新再来似的：没有更快乐也没有更不幸。但多了对自己的力量的意识、对虚荣心的唾弃，以及这份清醒的，催促着我去面对自己命运的狂热。

1937年9月15日 

加缪