نوع مقاله: Original Article
چكيده:
مؤسسه. دانشگاه علوم پزشكي كاشان مقدمه. ارزشيابي را بررسي و تفحص نظامدار يك موضوع, امر و شي مهم و راهي براي بهبود و اثربخش كردن برنامه از طريق بكارگيري روشهاي درست, اخلاقي, امكانپذير و دقيق تعريف كرده اند. سوالات مشترك همه ارزشيابيها عبارتند از اينكه: آيا اجزاء برنامه درست و اثربخش عمل ميكنند؟ عملكرد خوب چگونه است؟ چرا برنامه يا اجزاء آن خوب عمل نميكنند؟ آثار و پيامدهاي برنامه چيست و چقدر دوام دارند؟ آيا اين برنامه نسبت به ساير برنامه ها اثربخش تر است؟ از اين برنامه چه مي آموزيم؟ مشتريان برنامه در باره آن چه فكر ميكنند؟ وسترهولم(1999) فوايد ارزشيابي را شامل: بررسي اثربخشي, روشن سازي فرصتها, ارزيابي اولويتها در استفاده از منابع, بررسي نيازها و تقاضاهاي مددجويان, تصميم گيري آگاهانه تر و پاسخ به فشارهاي خارجي ميداند. اگرچه درباره ضرورت ارزشيابي صحبت فراوان شده, متاسفانه ارزشيابي به صورت موثري جزء بيشتر برنامه ها نشده و معمولا هنگامي كه با مشكل يا سوالي درمورد يك برنامه مواجه ميشويم به فكر آن مي افتيم. در مواردي هم كه ادعاي اجراي آن شده, به صورت ناپخته و ناشيانه بوده و قسمتي اندك از كل اين فرايند اجرا شده است. ارزشيابي دروني كه در چند سال اخير مورد توجه قرار گرفته به اعضاي سازمان يا برنامه امكان ميدهد تا به جستجوي نقاط قوت و ضعف خود پرداخته و روشهايي را براي ارتقاي فرايندهاي خود يافته و اجرا كنند. با اينحال ورثن و ساندرز(1987) معتقدند كه هيچ ارزشيابي از تورش در امان نيست. تصميمات يك ارزشياب درمورد اينكه چه چيزي را بررسي كند, از چه روش و ابزاري استفاده نمايد, با چه كسي گفتگو كند و حتي سوابق شخصي و تجربيات حرفه اي او, همه بر اجرا و نتيجه ارزشيابي تاثير ميگذارند. از اين رو براي بررسي اعتبار, روايي و صحت برنامه ارزشيابي, بايد از ابتدا تدابيري را انديشيد. بنابراين ارزشيابي برنامه ارزشيابي يا متا- اوليشن, بايد از ابتدا در برنامه ارزشيابي گنجانده شود. در اين تحقيق گزارش ارزشيابي دروني گروه پرستاري داخلي خراحي دانشگاه علوم پزشكي كاشان مورد ارزشيابي قرار گرفت. روشها. گروه پرستاري داخلي خراحي دانشگاه علوم پزشكي كاشان به درخواست و تحت نظارت مركز توسعه آموزش دانشگاه اقدام به ارزشيابي دروني نمود. گزارش نهايي اين ارزشيابي مورد ارزشيابي قرار گرفت. ابتدا متن گزارش به صورت تحليل محتوا مورد تجزيه و تحليل واقع شد و سپس با استفاده از ابزار استاندارد توسعه يافته توسط دانيل استافل بيم از نظر سودمندي, كاربردي بودن, صحت و اعتبار يافته ها مورد بررسي قرار گرفت, اين ابزار نتايج يك ارزشيابي را به صورت عالي, خيلي خوب,خوب, متوسط و ضعيف طبقه بندي ميكند. در نهايت از طريق مصاحبه نيمه سازمان يافته با اعضاي تيم ارزشيابي نتايج و گزارش ارزشيابي مورد تحليل واقع گرديد. يافته ها. در برنامه ارزشيابي دروني و نيز در گزارش نهايي آن سابقه و ساختار و شرايط گروه را مورد توجه قرار نگرفته و برنامه مورد ارزشيابي نيز مشخص و توصيف نگرديده است, همچنين اهداف برنامه ارزشيابي تدوين نشده و عوامل مورد ارزيابي نيز به صورت ناقص مطرح شده اند. روند برنامه ارزشيابي ذكر نگرديده , نتايج مورد بحث و داوري قرار نگرفته و پيشنهادي متناسب با يافته ها انجام نشده است. گزارش ارزشيابي به لحاظ سودمندي, كاربردي بودن و صحت در حد متوسط قرار داشته و به لحاظ دقت و اعتبار يافته ها ضعيف است. تحليل متن مصاحبه ها نشان داد كه گروه ارزشياب براي اين كار آمادگي لازم را نداشته و تا مدتي فقط براي رفع تكليف به اين كار ادامه داده است. ترس از مشخص شدن نقاط ضعف, فقدان هدايت كننده مسلط و آگاه به اصول ارزشيابي, عدم آگاهي مسئولان مركز توسعه از اصول ارزشيابي و ناتواني آنها در توجيه روش و اهداف برنامه از موانع عمده در طي برنامه ارزشيابي دروني و ناكارآمدي نتايج آن بوده است. نتيجه. با وجود آگاهي از اهميت و نقش ارزشيابي در بهبود كيفيت برنامه ها, در عمل ارزشيابيها بصورت اصولي و معتبر انجام نميشوند. ترس از نتايج و نيز عدم تسلط بر روشها و اصول ارزشيابي و نيز ناديده گرفتن متا- اوليوشن از عوامل ناكارآمدي ارزشيابي است.
كلمات كليدي:
Evaluation of an evaluation
Article Type: Original Article
Abstract:
Introduction. Evaluation is a systematic way to improve and make more effective actions that involves procedures which are useful, feasible, ethical, and accurate. Common questions in all evaluations are: do all part of program do well and effective? What is the good functioning? Why the program or its parts do not work well? What are the effects and consequences of the program? Is this program more effective than the others? What we learn from this program? What the consumers think about the program? The benefits of evaluation are: assessment of effectiveness, exploring the opportunities, assessing the priorities in allocating the resources, assessing the needs and demands of clients, better decision making and responding to external demands (westerholms, 1999). Unfortunately evaluation is not integrated in all programs. Also any evaluation study is biased to some extent. Decisions that an evaluator makes about what to examine, what methods and instruments to use, who to talk to, even the evaluator’s personal background, professional training and experiences all affect the way the study is conducted and influence the outcome of evaluation. Therefore Meta–evaluation (the evaluation of an evaluation) is important, it adds the credibility of final results and improves an evaluation study before it is irretrievably too late. In this study I evaluated the final report of internal evaluation that was performed by the medical surgical nursing group of faculty of nursing in Kashan medical university. Methods. Medical surgical nursing group of faculty of nursing in kashan medical university conducted an internal evaluation program by the request and supervision of education development center. I evaluated that program and its final report. At first content analysis was performed on the final report of evaluation, then program evaluations, meta-evaluation checklist developed by Daniel stufflebeam used to determine the quality of evaluation study at its utility, feasibility, propriety and accuracy. According to the checklist an evaluation may fall in one of the categories of excellent, very good, good, fair or poor. At the end I used semi-structured interviews with the members of evaluating team for exploring the process and obstacles of the program. Results. The history, context, structure, mission and objectives of the group was not considered neither in the process nor in the final report. The evaluators did not determine the goals and objectives of evaluation they only listed some factors they thought needed to be evaluated. There was any planning for evaluation therefore the process of evaluation was not clear in the final report. No judgments made relating the findings or results and the final report did not contain any discussion and recommendations. According to the program evaluations meta-evaluation checklist, utility, feasibility and propriety of evaluation were fair and its accuracy was poor. Analysis of interviews revealed that the evaluators did not have necessary preparation and they were not ready enough to do this, they did that program only because the EDC hd wanted them to do that. Fear from uncovering weaknesses, lack of mastery in program evaluation in the group and although in EDC, lack of a skilful director, inability of EDC to explain the purposes and benefits of internal evaluation, were some of the most important obstacles of this evaluation program. Conclusion. Although the role and importance of evaluation in improvement of actions and quality of programs are well known, but it is not executed properly in reality. Fear from the results, lack of skill in evaluation, and not integrating the meta-evaluation in evaluation programs are some of the reasons for imperfect and unusable evaluations.
Keyword: