Taller Norma ISO 10667 - Consejo General de Colegios Oficiales de ...

NORMA ISO 10667EVALUACIÓN DE PERSONAS ENENTORNOS LABORALES YORGANIZACIONALESJosé MuñizUniversidad de Oviedo

Esquema• Introducción: Marco referencialsobre el proceso de evaluación dePersonas• Presentación de la Norma ISO 10667

IntroducciónMarco referencial sobre el procesode evaluación de Personas

Hechos:Pandemia EvaluadoraDe repente en lasInstituciones i y Empresastodo el mundo se hapuesto a evaluar a todo elmundo a todas horas

¿Por qué esta obsesiónevaluadora?Para Mejorar elfuncionamientoi institucional a distintosniveles ees

Cadena de Intervención• Evaluación rigurosa• Diagnóstico preciso• Intervención Eficaz• Basada en evidencias

¿A Qué niveles hay quemejorar?•Personas•Productos•Procesos•Sistemas

SE NECESITAUN MODELO INTEGRALDE EVALUACIÓN

Modelo General deEvaluación InstitucionalA. Qué se evalúaB. Partes legítimamente implicadasC. Quién evalúaD. Cómo se evalúa: MetodologíaE. Feedback a las partesF. Planes de MejoraG. Opinión de las partes

A. ¿Qué se evalúa en unaempresa o institución?• Personas• Productos• Procesos• Sistemas

Fórmula del RendimientoProfesionalRendimiento = Capacidad x Esfuerzo

Variables implicadas en elRendimiento Profesional1. Características Personales• Aptitudes• Actitudes• Personalidad• Inteligencia Emocional2. Compañeros de trabajo3. Jefes4. Tipo de tarea5. Cultura de empresa6. Ambiente familiar7. Entorno Socio-culturalcultural

Inteligencia Emocional:Los Techos de CristalNos ayuda a optimizar nuestrorendimiento i a partir de un esfuerzo yde unas capacidades intelectualesdeterminadas

Facetas de la Inteligencia i Emocional• Inteligencia INTRA-personal– Autoconocimientoi t– Control Emocional– Motivación• Inteligencia INTER-personal– Empatía– Habilidades Sociales

1.2.3.4.5.6.7.8.9.10.Cualidades Personalesmás valoradas por las empresas1. Responsabilidad2. Iniciativa3. Capacidad Intelectual4. Tenacidadd5. Creatividad6. Ética7. Lealtad8. Seguridad en sí mismo9. Discreción10.Sinceridad

1.2.3.4.5.6.7.8.9.10.Habilidades Socialesmás valoradas por las empresas1. Trabajo en equipo2. Adaptación3. Ganas de aprender4. Superación5. Disponibilidad6. Organización7. Capacidad de comunicación8. Integración9. Capacidad para las relaciones sociales10.Dotes de mando

Las cinco Aptitudesdemandadas d d por Google• Razonamiento analítico• Capacidad de Comunicación• Deseo de experimentar• Saber trabajar en equipo• Pasión y Liderazgo

B. Partes legítimamenteimplicadas• Personas Evaluadas• RRHH• Departamentos implicados• Dirección• Representación Sindical

C. Quién evalúa• Externa• Interna• Mixta

D. Cómo se evalúa:Metodología• Instrumentos de medida• Objetivos• Claros• Comprensibles por las partes• Cuantitativos (cuando sea posible)• Fiables• Válidos

E. Feedback a las partes• Vital• Barato• Cuándo darlo• Rápidoimplicadas• Cómo darlo• Varía según el destinatariot i– Persona Evaluada– Supervisores– Dirección– Gestores

F. Planes de Mejora• Fundamentados en datos• Acordados con las partes• Objetivos• Medibles• Evitar generalizaciones hueras• Evitar generalizaciones hueras• Reculturalización de la empresa

G. Opinión ió de las partes• Objetivos:• Evaluar su opinión del proceso• Mejorar su implicación• Hacerlos partícipes de los planes de mejora• Metodología• Objetiva• Operativa• Fiable y Válida

Nueva Norma ISO 10667

Nada Nuevo bajo el SolNo inventa nada nuevo:Sistematiza, i operativiza, iy daestructura de Norma ISO anormas y regulacionesdispersas ya existentes

Marcos Reguladores Previos• Estándares Técnicos de los Tests• AERA, APA, NCME• Modelos de Evaluación de Tests• EFPA, COP, BPS• Códigos Éticos• APA, EFPA, COP• Directrices de Uso• ITC

DenominaciónióPrestación de servicios deevaluación: Procedimientos ymétodos para la evaluación depersonas en entornos laborales yorganizacionales

Nota Históricai• Iniciativa del Instituto Alemán deNormalización ió DIN• Cuatro años de trabajo y reunionesesinternacionales (2007-2010) 2010)• Aprobación por el Comité TC230 el 17de Diciembre de 2010• Actualmente: Publicado (Oct. 2011)• España: AENOR (COP, AEDIPE)

Objetivo General de la NormaProporcionar unas reglasclaras y concisas a losProveedores de ServiciosEvaluativos y a los Clientes deestos, con el fin de llevar acabo un Proceso Evaluativoriguroso

Cómo alcanzar ese Objetivo• Definiendo las Buenas prácticas delos Métodos y Procedimientos e deEvaluación• Asegurando la Equidad en laaplicación de los Procedimientos deevaluación• Valoración de la Calidad del Serviciode Evaluación

Niveles de la Norma• Individual• Grupal• Entrevistas• Selección de personal• Clima de Equipo• Rendimiento de grupos• Organizacional• Satisfacción Laboral• Cultura de empresa

Cobertura de la Norma:Todo el Ciclo de Vida Laboral• Selección• Contratación• Orientación y asesoramiento laboral• Desarrollo Personal• Planificación de sucesiones• Recolocación

Estructura t de la Norma• Parte 1: Deberes del Cliente• Parte 2: Deberes de losProveedores de Serviciosde Evaluación

Quiero adoptarla en miEmpresa¿Es engorrosa su implementación en lapráctica?caNO

Niveles de Implementación• Certificación Oficial: AENOR…• Todavía no operativo• Adopción de hecho• Se adopta sin certificar oficialmente• Menor valor, pero igualmente positivo• Popular en EEUU

Seis Secciones1. Objeto y campo de aplicaciónió2. Terminología y Definiciones3. Acuerdo Cliente-Proveedor de servicio4. Procedimientos Pre-Evaluación5. Realización de la Evaluación6. Revisión ió Post-Evaluación

1. Objeto y campo deaplicacióna) Necesidades y lógica del uso de la evaluaciónb) Condiciones de uso de la evaluaciónc) Enfoque de la evaluación, procedimientos ymétodosd) Competencia y profesionalidad de losprofesionales implicadose) Acceso, uso y custodia de los resultadosf) Decisiones relacionadas con la evaluacióng) Métodos y Procedimientos a utilizar

2. Terminología y Definicionesi i• Se fija el sentido estricto de laterminología utilizada– Evaluación– Evaluador– Cliente– Feedback– Consentimiento Informado– Datos personales– Fiabilidad– Validez– …….

3. Acuerdo Cliente-Proveedorde servicio• Responsabilidades d del Cliente y delProveedor de Servicios• Previsión de Resultados yConsecuencias• Competencia y Entrenamiento• Actividades complementarias deInvestigación

Deberes del Cliente• Comunicar sus necesidades de evaluación• Elegir un proveedor del servicio con la adecuadacapacidad y competencia• Comprobar que los métodos de evaluación sebasan en evidencias• Cumplir los requisitos del acuerdo establecido• Asumir las responsabilidades legales• Seguir las buenas prácticas y deontologíaprofesional• Proteger la seguridad y confidencialidad de laevaluación

Deberes del Proveedor deServicios Evaluativos• Colaborar con el cliente en laespecificación de las características de laevaluación• Dar información ió exhaustiva al cliente• Atenerse a las regulaciones legales,profesionales y deontológicas• Velar por la confidencialidad de lainformación• Proporcionar documentación completa yprecisa sobre el proceso de evaluación

Competencia y EntrenamientotEl proveedor de servicios deberá:• Utilizar las directrices i adecuadas d para seleccionary desarrollar las evaluaciones• Tener los conocimientos teóricos y técnicosrequeridos por la evaluación• Conocer los métodos de evaluación disponibles• Estar al día de los avances técnicos• Conocer la competencia técnica de las personasimplicadas en la evaluación• Asegurarse del comportamiento ético de laspersonas implicadas en la evaluación

similar or superior to our technology, duplicate our technology or design around thepatents owned or licensed by us. In addition, eÅective patent, trademark, copyright andtrade secret protection may be unavailable or limited in foreign countries where we mayneed this protection. We cannot be sure that steps taken by us to protect our technologywill prevent misappropriation of our technology.The semiconductor industry is characterized by vigorous protection and pursuit ofintellectual property rights or positions. This often results in signiÑcant and oftenprotracted and expensive litigation. There is no intellectual property litigation currentlypending against us. However, we may from time to time receive notiÑcations of claimsthat we may be infringing patents or other intellectual property rights owned by other thirdparties. If it is necessary or desirable, we may seek licenses under these third party patentsor intellectual property rights. However, we cannot be sure that licenses will be oÅered orthat the terms of any oÅered licenses will be acceptable to us.The failure to obtain a license from a third party for technology used by us couldcause us to incur substantial liabilities and to suspend the manufacture or shipment ofproducts or our use of processes requiring the technology. Litigation could result insigniÑcant expenses to us, adversely aÅect sales of the challenged product or technologyand divert the eÅorts of our technical and management personnel, whether or not thelitigation is determined in our favor. In the event of an adverse result in any litigation, wecould be required to pay substantial damages, cease the manufacture, use, sale orimportation of infringing products, expend signiÑcant resources to develop or acquire noninfringingtechnology, and discontinue the use of processes requiring the infringingtechnology or obtain licenses to the infringing technology. We may not be successful in thedevelopment or acquisition, or the necessary licenses may not be available underreasonable terms, and any development, acquisition or license could require expendituresby us of substantial time and other resources. Any of these developments would have amaterial adverse eÅect on our business. See ""Risk Factors Ì Our Limited Ability toProtect Our Intellectual Property and Proprietary Rights Could Adversely AÅect OurCompetitive Position.''FacilitiesWe lease two adjacent facilities in Sunnyvale, California, which have approximately20,000 square feet and 15,000 square feet pursuant to two leases which expire in February2001 and November 2004, respectively. These two facilities comprise our headquarters andinclude our research and development, sales and marketing and administrationdepartments. We believe that our current facilities will be adequate through 1999.EmployeesAs of December 31, 1998, we employed a total of 71 full-time employees, including31 engaged in research and development, 30 engaged in sales and marketing, 4 engaged inmanufacturing operations and 6 engaged in general administration activities. We also fromtime to time employ part-time employees and hire contractors. Our employees are notrepresented by any collective bargaining agreement, and we have never experienced a workstoppage. We believe that our employee relations are good.BacklogPLX's backlog at any particular date is not necessarily indicative of actual sales forany succeeding period. This results from expected changes in product delivery schedules40

Acuerdo entre el Proveedorde Servicios y el Cliente• Ámbito de la evaluación• Duración del Servicioi• Métodos y Procedimientos utilizados• Análisis a realizar con las medicionesevaluativas• Tipos de informes de resultados• Combinación de los resultados de distintosprocedimientos• Roles, obligaciones i y responsabilidades d decliente y proveedor

Acuerdo(Continuación)• Privacidad de los datos, propiedadintelectual, almacenamiento y borrado dedatos• Compromiso de cumplimiento i legal lydeontológico• Naturaleza y frecuencia de revisionesperiódicas• Tipo de feedback• Identificación de costes

Acuerdo(Continuación)• Competencias de las personas que llevan acabo las revisiones• Especificar lo que será revisado y cuándo• Quien estará implicado en las revisiones• Criterios para la revisión• Naturaleza y forma del tipo de informesobre las revisiones

5. Realización de laEvaluación• Planificación ió de la evaluación• Información a los Participantes• Desarrollo de la Evaluación• Interpretación de los Resultados• Preparación de Informes• Feedback• Valoración de la Evaluación

Planificación de laevaluación• Plan de Evaluación• Seguridad• Derechos de los participantes• Protección de Datos de losParticipantes• Especificar Feedback

Información a losParticipantes• Provisión de Información• Razones de la Evaluación• Necesidades especiales, Responsables…• Consentimiento Informado• Receptores de los resultados• Usos suplemetarios• Confidencialidad y Anonimato• Regular los términos de confidencialidad

Desarrollo de la Evaluación• Competencia de los evaluadores• Adecuación de los instrumentos ymétodos• Condiciones adecuadas• Seguridad• Documentación del proceso

Interpretación de losResultados• Competencia de los evaluadores• Procedimientos documentados• Métodos adecuados• Evaluaciones de distintos métodos• Documentar el procedimiento decombinación

Preparación de Informes• Detallados y empíricos• Puntuaciones• Interpretaciones• Resultados• Destinatarios• A quién se facilitan• Facilitar la utilización

Feedback• Acordar tipo de Feedback• Cómo proporcionarlo• Preciso• Pertinente

Valoración de la Evaluación• Criterios de Evaluación relevantes• Buenas prácticas evaluativas• Ajuste al marco legal y deontológicodel país• Validez del proceso• Equidad inter-grupal

6. Revisión ió Post-Evaluación• Cumplimiento de los objetivos• Lo que se desarrolló y no de acuerdocon lo planeado• Lecciones aprendidas para la mejorafutura• Consecuencias deseadas ynodeseadas• Claridad de los Informes• Uso de los Informes

Anexo A(Informativo)Derechos y deberes de losparticipantes ien laevaluación:Directrices ces y Expectativasas

Anexo B(Informativo)Información Complementariasobre Documentación técnicade los Procedimientos e yMétodos de Evaluación

B1. Documentación de losMétodos y Procedimientos i deEvaluación• Evidencias e investigación sobre losMétodos y Procedimientosi • Disponibilidad de la documentaciónpara las partes implicadas• Acceso público a la documentación, oaccesibilidad para las partes• Información técnica detallada

B2. Objetividad de losMétodos y Procedimientos• Validez• Pertinencia de la inferencias• Fiabilidad• Estimación de los errores• Equidad• Ausencia de Sesgo• Adecuación de las acomodaciones• Comprobar de forma periódica

Anexo CInformacióncomplementaria sobre elAnálisis e Interpretaciónde los Resultados

Anexo D. Información complementariasobre los Informes• Utilizar informes basados en evidencias• Reseñar las limitacionesit i• Especificar el peso de los datos de laevaluación respecto de otros• Ajustar el tipo de Informe al destinatario• Lenguaje• Contexto• Tecnología

Síntesis• Trabajo colaborativo Cliente-Proveedor• Transparencia• Acuerdo Cliente-Proveedor• Personal especializado• Métodos basados en evidencias

Recapitulaciónió• Necesidad de un modelo integral deEvaluación auacó• Evaluación objetiva y contrastable• Nueva Norma ISO 10667 pararegular todo el proceso evaluativo• Futuro: Mayor profesionalización

Ejercicioi1. Su cliente le comunicó de forma precisa susnecesidades de evaluación2. El cliente comprobó que los métodos deevaluación se basaban en evidencias3. El cliente cumplió con los requisitos del acuerdoestablecido4. El cliente asumió las responsabilidades legalesque le correspondían5. Se siguieron las buenas prácticas y deontologíaprofesional6. Se protegió la seguridad y confidencialidad de laevaluación

Ejercicio i (cont.)7. Colaboró con el cliente en la especificación de lascaracterísticas de la evaluación8. Proporcionó información exhaustiva al cliente9. Se siguieron las regulaciones legales,profesionales y deontológicas10. Se mantuvo la confidencialidad de lainformación11. Proporcionó al cliente documentación completay precisa sobre el proceso de evaluación

Ejercicio i (cont.)12. Siguió las directrices adecuadas para seleccionary desarrollar las evaluaciones13. Dispone de los conocimientos teóricos y técnicosrequeridos por la evaluación14. Conoce los métodos de evaluación disponibles15. Está al día de los avances técnicos16. Conoce la competencia técnica de las personasimplicadas en la evaluación17. Se ha asegurado el comportamiento ético de laspersonas implicadas en la evaluación

Ejercicio i (cont.)En el contrato con el Cliente:18. Se especificó el ámbito de la evaluación19. Se concretó la duración del Servicio20. Se especificaron los Métodos y Procedimientos utilizados21. Se establecieron los Análisis a realizar con las medicionesevaluativas22. Se especificaron los Tipos de informes de resultados23. Se estableció el tipo de Combinación de los resultados dedistintos procedimientos24. Se concretaron los Roles, obligaciones y responsabilidadesde cliente y proveedor

Ejercicio i (cont.)En el contrato con el Cliente:25. Se especificó la Privacidad de los datos,propiedad intelectual, almacenamiento y borradode datos26. Se estableció el Compromiso de cumplimientolegal y deontológico27. Se estableció la Naturaleza yfrecuencia derevisiones periódicas28. Se concretó el Tipo de feedback a proporcionar29. Se especificaron los costes de la evaluación

Ejercicio i (cont.)En el contrato con el Cliente:30. Quedaron claras la Competencias de laspersonas que llevan a cabo las revisiones31. Se especificó lo que será revisado y cuándo32. Se detalló quienes estarán implicados en lasrevisiones33. Se definieron los Criterios para la revisión34. Se acordó la Naturaleza y forma del tipo deinforme sobre las revisiones

Ejercicio i (cont.)35. Se estableció un Plan de Evaluacióndetallado36. Se especificaron los sistemas deseguridad d de los datos37. Se garantizaron los Derechos de losparticipantes38. Se garantizó la Protección de los Datosde los Participantes39. Se especificó el tipo de Feedback aproporcionar

Ejercicio i (cont.)40. Se detallaron las razones de laevaluación elegida41. Se especificaron los receptores de losresultados42. Se concretaron los usos de la evaluación43. Se garantizó la Confidencialidad y elAnonimato

Ejercicio i (cont.)44. Se garantizó la Competencia de losevaluadores45. Los instrumentos y métodos utilizadoseran los adecuadosd46. La evaluación se llevó a cabo enCondiciones adecuadas47. Se garantizó la Seguridad de los datos48. El proceso de evaluación se documentóde forma adecuada

Ejercicio i (cont.)49. Los informes realizados fueronDetallados y empíricos50. Se especificaron los destinatariosautorizados de los informes51. Se llevó a cabo una revisión deldesarrollo de la evaluación52. Se obtuvieron evidencias acerca de lasatisfacción de las partes implicadas enla evaluación

Muchas gracias por vuestra atenciónjmuniz@uniovi.esnio i

Referencias Bibliográficas• Carretero-Dios, H., y Pérez, C. (2005). Normas para el desarrollo yrevisión de estudios instrumentales. International Journal ofCli i l d H lth P h l 5 521 551Clinical and Health Psychology, 5, 521-551.• Downing, S. M. (2006). Twelve steps for effective testdevelopment. En S. M. Downing y T. M. Haladyna (Eds.), Handbookof test development (pp. 3-25). Mahwah, NJ: Lawrence ErlbaumAssociates.• Downing, S. M., y Haladyna, T. M. (2006). Handbook of testdevelopment. Mahwah, NJ: Lawrence Erlbaum Associates.• Fernández, J. (2008). Valoración de la calidad docente. Madrid:Editorial Complutense.

Referencias Bibliográficas• Morales, P., Urosa, B., y Blanco, A. B. (2003). Construcción deescalas de actitudes tipo Likert. Madrid: La Muralla.• Moreno, R., Martínez, R., y Muñiz, J. (2006). New guidelines fordeveloping multiple-choice items. Methodology, 2, 65-72.• Muñiz, J. (1997a) Introducción a la teoría de respuesta a los ítems.Madrid: Pirámide.M ñi J (1997b) A t éti d t ló i d l• Muñiz, J. (1997b). Aspectos éticos y deontológicos de laevaluación psicológica. En A. Cordero (ed.), La evaluaciónpsicológica en el año 2000. Madrid: Tea Ediciones.

Referencias Bibliográficas• Muñiz, J. (2000). Teoría Clásica de los Tests. Madrid: Pirámide.• Muñiz, J. (2004). La validación de los tests. Metodología de lasCiencias del Comportamiento, 5, 121-141.• Muñiz, J., y Bartram, D. (2007). Improving international tests andtesting. European Psychologist, 12, 206-219.• Muñiz, J., Fidalgo, A. M., García-Cueto, E., Martínez, R., y Moreno,R (2005) A áli i d l ít M d id L M llR. (2005). Análisis de los ítems. Madrid: La Muralla.• Muñiz, J. y Fonseca, E. (2008). Construcción de instrumentos demedida para la evaluación universitaria. Revista de Investigaciónen Educación, 5, 13-25.