'B-Project/DATA Science & Statistics'에 해당되는 글 3건

  1. 2010.10.05 The Multitrait-Multimethod Matrix
  2. 2010.03.28 Response bias 란 (1)
  3. 2008.11.07 DEA(Data Envelopment Analysis, 자료포괄분석) (1)
PLS와 같은 CFA에 기반한 방법론에서 판별타당성과 수렴타당성을 확인하는 방법으로 MTMM 방법이 요구된다는 사실.
 - 연구방법에 대한 폭넓은 이해가 없으면 좋은 글을 쓰기 어려운것 같다.


The Multitrait-Multimethod Matrix Statistics <통계자료>

What is the Multitrait-Multimethod Matrix?

The Multitrait-Multimethod Matrix (hereafter labeled MTMM) is an approach to assessingthe construct validity of a set of measures in a study. It was developed in 1959 byCampbell and Fiske (Campbell, D. and Fiske, D. (1959). Convergent and discriminantvalidation by the multitrait-multimethod matrix. 56, 2, 81-105.) in part as an attempt toprovide a practical methodology that researchers could actually use (as opposed to the nomological network idea which was theoretically useful but did notinclude a methodology). Along with the MTMM, Campbell and Fiske introduced two new typesof validity -- convergent and discriminant -- as subcategoriesof construct validityConvergent validity is the degreeto which concepts that should be related theoretically are interrelated in reality. Discriminantvalidity is the degree to which concepts that should not be relatedtheoretically are, in fact, not interrelated in reality. You can assess bothconvergent and discriminant validity using the MTMM. In order to be able to claim thatyour measures have construct validity, you have to demonstrate both convergence anddiscrimination.

The MTMM is simply a matrix or table of correlations arranged to facilitate theinterpretation of the assessment of construct validity. The MTMM assumes that you measureeach of several concepts (called traits by Campbell and Fiske) by each of severalmethods (e.g., a paper-and-pencil test, a direct observation, a performance measure). TheMTMM is a very restrictive methodology -- ideally you should measure each conceptby each method.

To construct an MTMM, you need to arrange the correlation matrix by concepts withinmethods. The figure shows an MTMM for three concepts (traits AB and C) each of which ismeasured with three different methods (12 and 3) Note that you lay the matrix out inblocks by method. Essentially, the MTMM is just a correlation matrix between yourmeasures, with one exception -- instead of 1's along the diagonal (as in the typicalcorrelation matrix) we substitute an estimate of the reliability of each measure as thediagonal.

Before you can interpret an MTMM, you have to understand how to identify the differentparts of the matrix. First, you should note that the matrix is consists of nothing butcorrelations. It is a square, symmetric matrix, so we only need to look at half of it (thefigure shows the lower triangle). Second, these correlations can be grouped into threekinds of shapes: diagonals, triangles, and blocks. The specific shapes are:

  • The Reliability Diagonal 

Estimates of the reliability of each measure in the matrix. You can estimate reliabilities a number of different ways (e.g., test-retest, internal consistency). There are as many correlations in the reliability diagonal as there are measures -- in this example there are nine measures and nine reliabilities. The first reliability in the example is the correlation of Trait A, Method 1 with Trait A, Method 1 (hereafter, I'll abbreviate this relationship A1-A1). Notice that this is essentially the correlation of the measure with itself. In fact such a correlation would always be perfect (i.e., r=1.0). Instead, we substitute an estimate of reliability. You could also consider these values to be monotrait-monomethod correlations.

  • The Validity Diagonals 

Correlations between measures of the same trait measured using different methods. Since the MTMM is organized into method blocks, there is one validity diagonal in each method block. For example, look at the A1-A2 correlation of .57. This is the correlation between two measures of the same trait (A) measured with two different measures (1 and 2). Because the two measures are of the same trait or concept, we would expect them to be strongly correlated. You could also consider these values to be monotrait-heteromethod correlations.

  • The Heterotrait-Monomethod Triangles

These are the correlations among measures that share the same method of measurement. For instance, A1-B1 = .51 in the upper left heterotrait-monomethod triangle. Note that what these correlations share is method, not trait or concept. If these correlations are high, it is because measuring different things with the same method results in correlated measures. Or, in more straightforward terms, you've got a strong "methods" factor.

  • Heterotrait-Heteromethod Triangles

These are correlations that differ in both trait and method. For instance, A1-B2 is .22 in the example. Generally, because these correlations share neither trait nor method we expect them to be the lowest in the matrix.

  • The Monomethod Blocks

These consist of all of the correlations that share the same method of measurement. There are as many blocks as there are methods of measurement.

  • The Heteromethod Blocks

These consist of all correlations that do not share the same methods. There are (K(K-1))/2 such blocks, where K = the number of methods. In the example, there are 3 methods and so there are (3(3-1))/2 = (3(2))/2 = 6/2 = 3 such blocks.

Principles of Interpretation

Now that you can identify the different parts of the MTMM, you can begin to understandthe rules for interpreting it. You should realize that MTMM interpretation requires theresearcher to use judgment. Even though some of the principles may be violated in an MTMM,you may still wind up concluding that you have fairly strong construct validity. In otherwords, you won't necessarily get perfect adherence to these principles in appliedresearch settings, even when you do have evidence to support construct validity. To me,interpreting an MTMM is a lot like a physician's reading of an x-ray. A practiced eye canoften spot things that the neophyte misses! A researcher who is experienced with MTMM canuse it identify weaknesses in measurement as well as for assessing construct validity.

To help make the principles more concrete, let's make the example a bit more realistic.We'll imagine that we are going to conduct a study of sixth grade students and that wewant to measure three traits or concepts: Self Esteem (SE), Self Disclosure (SD) and Locusof Control (LC). Furthermore, let's measure each of these three different ways: aPaper-and-Pencil (P&P) measure, a Teacher rating, and a Parent rating. The results arearrayed in the MTMM. As the principles are presented, try to identify the appropriatecoefficients in the MTMM and make a judgement yourself about the strength of constructvalidity claims.

The basic principles or rules for the MTMM are:

  • Coefficients in the reliability diagonal should consistently be the highest in the matrix.

That is, a trait should be more highly correlated with itself than with anything else! This is uniformly true in our example.

  • Coefficients in the validity diagonals should be significantly different from zero and high enough to warrant further investigation.

This is essentially evidence of convergent validity. All of the correlations in our example meet this criterion.

  • A validity coefficient should be higher than values lying in its column and row in the same heteromethod block.

In other words, (SE P&P)-(SE Teacher) should be greater than (SE P&P)-(SD Teacher), (SE P&P)-(LC Teacher), (SE Teacher)-(SD P&P) and (SE Teacher)-(LC P&P). This is true in all cases in our example.

  • A validity coefficient should be higher than all coefficients in the heterotrait-monomethod triangles.

This essentially emphasizes that trait factors should be stronger than methods factors. Note that this is not true in all cases in our example. For instance, the (LC P&P)-(LC Teacher) correlation of .46 is less than (SE Teacher)-(SD Teacher), (SE Teacher)-(LC Teacher), and (SD Teacher)-(LC Teacher) -- evidence that there might me a methods factor, especially on the Teacher observation method.

  • The same pattern of trait interrelationship should be seen in all triangles.

The example clearly meets this criterion. Notice that in all triangles the SE-SD relationship is approximately twice as large as the relationships that involve LC.

Advantages and Disadvantages of MTMM

The MTMM idea provided an operational methodology for assessing construct validity. Inthe one matrix it was possible to examine both convergent and discriminant validitysimultaneously. By its inclusion of methods on an equal footing with traits, Campbell andFiske stressed the importance of looking for the effects of how we measure in addition towhat we measure. And, MTMM provided a rigorous framework for assessing construct validity.

Despite these advantages, MTMM has received little use since its introduction in 1959.There are several reasons. First, in its purest form, MTMM requires that you have afully-crossed measurement design -- each of several traits is measured by each of severalmethods. While Campbell and Fiske explicitly recognized that one could have an incompletedesign, they stressed the importance of multiple replication of the same trait acrossmethod. In some applied research contexts, it just isn't possible to measure all traitswith all desired methods (would you use an "observation" of weight?). In mostapplied social research, it just wasn't feasible to make methods an explicit part of theresearch design. Second, the judgmental nature of the MTMM may have worked against itswider adoption (although it should actually be perceived as a strength). many researcherswanted a test for construct validity that would result in a single statistical coefficientthat could be tested -- the equivalent of a reliability coefficient. It was impossiblewith MTMM to quantify the degree of construct validity in a study. Finally, thejudgmental nature of MTMM meant that different researchers could legitimately arrive atdifferent conclusions.

A Modified MTMM -- Leaving out the Methods Factor

As mentioned above, one of the mostdifficult aspects of MTMM from an implementation point of view is that it required adesign that included all combinations of both traits and methods. But the ideas ofconvergent and discriminant validity do not require the methods factor. To see this, wehave to reconsider what Campbell and Fiske meant by convergent and discriminant validity.

What is convergent validity?

It is the principle that measures of theoretically similar constructs should behighly intercorrelated. We can extend this idea further by thinking of a measure thathas multiple items, for instance, a four-item scale designed to measure self-esteem. Ifeach of the items actually does reflect the construct of self-esteem, then we would expectthe items to be highly intercorrelated as shown in the figure. These strongintercorrelations are evidence in support of convergent validity.

And what is discriminant validity?

It is the principle that measures of theoretically different constructs should notcorrelate highly with each other. We can see that in the example that shows twoconstructs -- self-esteem and locus of control -- each measured in two instruments. Wewould expect that, because these are measures of different constructs, the cross-constructcorrelations would be low, as shown in the figure. These low correlations are evidence forvalidity. Finally, we can put this all together to see how we can address both convergentand discriminant validity simultaneously. Here, we have two constructs -- self-esteem andlocus of control -- each measured with three instruments. The red and green correlationsare within-construct ones. They are a reflection of convergent validity and should bestrong. The blue correlations are cross-construct and reflect discriminant validity. Theyshould be uniformly lower than the convergent coefficients.

The important thing to notice about this matrix is that it does notexplicitly include a methods factor as a true MTMM would. The matrix examines bothconvergent and discriminant validity (like the MTMM) but it only explicitly looks atconstruct intra- and interrelationships. We can see in this example that the MTMM ideareally had two major themes. The first was the idea of looking simultaneously at thepattern of convergence and discrimination. This idea is similar in purpose to the notionsimplicit in the nomological network -- we are looking at thepattern of interrelationships based upon our theory of the nomological net. The secondidea in MTMM was the emphasis on methods as a potential confounding factor.

While methods may confound the results, they won't necessarily do so in any given study.And, while we need to examine our results for the potential for methods factors, it may bethat combining this desire to assess the confound with the need to assess constructvalidity is more than one methodology can feasibly handle. Perhaps if we split the twoagendas, we will find that the possibility that we can examine convergent and discriminantvalidity is greater. But what do we do about methods factors? One way to deal with them isthrough replication of research projects, rather than trying to incorporate a methods testinto a single research study. Thus, if we find a particular outcome in a study usingseveral measures, we might see if that same outcome is obtained when we replicate thestudy using different measures and methods of measurement for the same constructs. Themethods issue is considered more as an issue of generalizability (across measurementmethods) rather than one of construct validity.

When viewed this way, we have moved from the idea of a MTMM to that of the multitraitmatrix that enables us to examine convergent and discriminantvalidity, and hence construct validity. We will see that when we move away from theexplicit consideration of methods and when we begin to see convergence and discriminationas differences of degree, we essentially have the foundation for the pattern matching approach to assessing construct validity.

Posted by 워렌팍 - 가치를 만드는 지식 혁신가
 설문을 조심스럽게 만들어낸다해도 그 내용을 대상자들이 읽거나 듣고 응답해 나 가는 과정에서 여러 가지 오류가 생길 수 있고 편파 도 일어난다. 이때 특히 특정 방향으로 응답을 편포시키는 體系的 偏頗(systematic bias)가 문제가 된다. 이런 체계적 편파는 대부분 대상자의 정신체계나 경향성 때문에 발생하는 것이다.
 그 근본적인 감소대책은 사실 앞에서 언급된 설문 구성 원칙을 준수하는 것이다. 그럼에도 불구하고 발생되는 응답과정의 주요 편파의 특징을 이해하고 있어야 설문구성뿐 아니라 최종 결과처리, 해석에도 도움이 된다.

1) 사회적 선망(Social Desirability)

 조사대상자가 자신의 개인적 선호나 취향, 의견, 행동 등이 사회적, 보편적인 규범을 벗어날 것으로 생각될 때 진실된 응답보다는 그러한 사회적 규범에 가까운 쪽으로, 즉 보편적으로 수용될만하다고 생각되는 방향으로 응답하게 되는 경우가 많다. 이 편파경향은 매우 보편적이라 생각하면서도 노련한 조사자들 조차도 뚜렷한 방법을 갖지 못하고 있다.

 만약 이러한 편파를 막기 위해 지나치게 표현을 우회적으로 하고, 문장을 길게 하고, 상대에게 촛점을 명확하게 제시하지 않게 되면 오히려 문제는 사회적 선망편파 이외의 영역에서까지 발생하게 된다. 따라서 이 편파는 무조건 피해서 될 일이 아니다.
 어느정도 응답속에 이러한 경향이 깃들어 있다고 가정해야 한다. 다만 자신의 성실성, 대인교류상의 평판, 등 대상자의 사회적 선망욕구를 강하게 자극할 여지가 있는 내용은 조사하나 마나 이므로 다른 형태(설문이 아닌 다른 측정 방식이나 관련된 다른 내용에 관한 조사설문들로 간접추정하는 방식)를 강구하든지 포기 해야 한다.
또 민감하지 않은 주제의 경우도 단어선택이나 설문형식에 따라 사회적 선망지향성의 발동여부가 달라질 수 있으므로 전술한 원칙들이 충실히 지켜져야 한다.

 경우에 따라서는 응답의 신뢰성 여부를 검증하기 위해 사회적 선망경향 자체를 하나의 척도화하여 측정할 수 있다. 즉 이 경우 정상분포를 바탕으로 하여 지나치게 높거나 적절한 外的準據上 일정수준 이상이 되면 전반적인 응답편파를 가정하고 다른 설문들에 대한 응답결과를 신뢰 할 수 없게 되는 것이다. 이러한 목적의 虛構性 尺度가 몇가지 있다(MMPI, CPI등 대부분의 자기보고형 성격검사에는 여러가지 하위척도 형태로 허구성 척도를 보유하고 그 점수 에 따라 타척도의 점수해석을 달리 한다). 그러나 이런 척도는 그 자체가 설문이 많고 시간이 걸리므로 일반적인 조사에서는 거의 쓰이지 않는다. 


2) 묵종(Aquiscence)

 사람들은 일반적으로 협조적이다. 그들이 특별한 자기 이해와 관계없는데도 불구하고 조사에 응답한다는 사실은 바로 그러한 경향성을 나타내는 것이다.

 특정 내용이나 방향의 응답이 조사자나 면접원에게 더 좋다고 생각되면 많은 대상자들이 그러한 응답을 해 준다. 이런 편파를 줄이기 위해서는 첫째, 대상자에게 솔직하고 정직한 응답이 단순히 호의적인 응답보다 더 도움이 된다는 점을 납득시키고 둘째, 어떤 응답이 긍정적인 것인지(조사자에게) 알 수 없도록 해야 한다.


3) 중간반응 경향성(Centrality Bias)

 자기표현의 위험성을 줄이거나 무관심하기 때문에 깊이 생각해 보기 싫어지면 대상자들은 중간(`보통이다', `그저 그렇다'등) 위치에 응답을 한다. 좌우대칭의 척도를 쓰게 되면 어쩔수 없이 많은 대상자들이 중간 반응을 보이게 된다.

 특히 우리나라의 경우 특정 방향의 반응을 유보하고 `그저 그렇다'는 응답을 선택 하는 것이 일반적 의미의 반응 경향성과 달리 일상에 작용하는 인지·정서적 동기로 보인다.
 따라서 정적/부적 방향 중 어느 한쪽만의 정도에 따라서 응답지를 만들고 그 언어적 표현을 적절히, 정도에 따라 자연스럽게 제시해주는 방식을 강구해야 한다. 또 가능한 구간(범주)를 홀수로 하여 가운데를 부담없이 택하도록 하기 보다는 짝수로 하여 어느정도 자신의 감정이나 신념의 방향성을 표현하도록 강제하는 편이 낫다.

4) 양극단반응 경향(Yes and Nay-Saying)
 중간반응과 달리 좌우대칭의 응답척도상 극단적인 긍정값이나 극단적 부정값에 응답하기 좋아하는 사람들이 있다.
이것 역시 개인의 성격적 경향성이다. 위의 중간반응 경향성의 경우와 같이 생각해보면 그 해결방식은 대상자가 긍정/부정의 양쪽 의미를 갖지 않도록 만들 수 밖에 없다. 그러나 실제로 거의 모든 설문을 그렇게 중성적(neutral)이면서 내용이 질적으로 다른 대상자를 갖도록 만들기는 어렵다. 또 설문의 수가 많을 때는 정적, 부적방향의 응답지를 설문중 반반에 해당되도록 조정할 필요가 있다. 다만 이때는 대상자가 응답방향을 당연히 일관성이 있을 것으로 착각할 경우를 대비해서 지시를 분명히 해주어야 한다.

 5) 面識에 의한 편파(Auspices)
 대상자가 조사자나 자료수집원, 면접자를 미리 알고있으면 그 점 때문에 응답에 편파가 끼어들게 된다.

[출처] [펌] Response bias|작성자 값진인생

Posted by 워렌팍 - 가치를 만드는 지식 혁신가

DEA(Data Envelopment Analysis, 자료포괄분석)은 1978년 Charnes, Cooper, Rhodes에 의해 처음으로 제안되었습니다.


그 후 OR/M (Operations Research/Management, 운용과학/경영)에서 가장 널리 활용되는 방법 중 하나가 되었습니다. Bouyssou(1997)은 DEA는 OR에 있어서 최근의 성공 스토리의 하나라고 말해도 지나치지 않을 것이다라고 주장하고 있는 것에서도 경영과학분야에 DEA가 끼친 높은 영향도를 확인할 수 있습니다.


[OR은 시스템의 설계, 운용에서 나타나는 의사결정 문제들에 대해 최적의 의사결정을 내릴 수 있도록 과학적, 분석적 기법들을 사용하여 문제를 분석하고 해를 도출해낼 수 있도록 하는 방법론을 연구하는 학문 분야입니다.]


DEA의 가장 큰 특징은 과제중심적 접근중요한 과제에 초점을 맞추어 DMU(Decision Making Units, 의사결정단위)의 성과를 평가한다는 점입니다.


[DMU는 성과평가의 대상인 공장, 금융기관 지점, 상점, 학교, 병원 등 제품과 서비스 생산 및 제공 단위를 의미합니다. DMU의 수에는 제한이 없으나, 분석의 예를 살펴보면, 15개 ~ 10,000개의 DMU들이 분석되었습니다]


DEA 분석은 비교가 가능한 DMU들의 상대적 효율성 평가 위한 일종의 LP(Linear Programming, 선형계획)방법입니다. DMU들의 성과에 대한 보유 자료를 가지고 EES(Empirical Efficient Surface, 경험 효율면)을 도출합니다. EES 상에 위치하는 DMU는 효율적인 DMU가 되며, 그렇지 않은 경우에는 비효율적인 DMU가 됩니다.


통상적으로 효율성은 산출물을 투입물로 나누어 측정합니다(효율성 = 산출물/투입물). 그러나 이러한 단순한 효율성 측정 방식은 다양한 자원, 활동,  환경 요소 등과 관련된 여러 투입물과 산출물이 존재하는 상황에서는 부적합합니다. 



DEA는 이런 문제점을 극복하고 유사한 성격의 DMU들의 상대적 효율성을 측정하기 위해 활용하는 다요소 생산성 분석 모델입니. 이 때 다음 식에 의해 여러 투입과 산출 요소 간의 효율성 점수를 산출합니다.


[효율성 = 산출물의 가중평균 합/투입물의 가중평균 합]


DEA는 또한 효율성 점수를 제공할 뿐만 아니라 비효율적 DMU가 모범으로 삼아야 할 DMU(참조 DMU)를 제시합니다. 참조 DMU는 EES 상에 위치하는 가상의 DMU로써, 일반적으로 비효율적 DMU로부터 EES로 선을 그어 만나는 점입니다.




DEA는 다음과 같은 장점을 가지고 있습니다.

¨       여러 투입요소와 산출요소를 다룰 수 있습니다.

¨       투입과 산출에 대한 함수적 관계의 가정을 필요로 하지 않습니다.

¨       DMU들이 동료나 동료 그룹과 직접적으로 비교됩니다.

¨       투입과 산출 요소들이 각기 다른 측정 단위를 가질 수 있습니다.


반면 DEA는 다음과 같은 단점을 가지고 있습니다.

¨       DEA는 극한점을 사용하기 때문에 측정 에러와 같은 문제점을 야기할 수 있습니다.

¨       상대적 효율성을 측정하는 데는 매우 좋으나, 절대적 효율성을 측정하는 데는 어려움이 있습니다.



위 문제점들을 극복하기 위한 여러 가지 방법들이 제안되고 있습니다. 대표적인 방법으로 CEM(Cross Efficiency Matrix)와 AHP(Analytic Hierarchy Process) 등이 많이 활용되고 있습니다.

Posted by 워렌팍 - 가치를 만드는 지식 혁신가