У ВАС отключен Java Script. Полноценное функционирование сайта НЕ ОБЕСПЕЧЕНО

+375 17 288-09-38 (Факс)
info@belgim.by

Проверка квалификации в лабораториях: важная потребность или участие по принуждению?

1. Что такое проверка квалификации и ее связь с межлабораторными сличениями

Сегодня проверка квалификации лабораторий является достаточно новой услугой для Беларуси. Вероятно, по этой причине многих специа листов-метрологов республики «пугает» термин «проверка квалификации». В то же время более известным и привычным является понятие «межлабораторные сличения». Сегодня «межлабораторные сличения» являются, по нашему мнению, одним из ключевых понятий современной метрологии. Именно это понятие отражает основную задачу всей метрологии: почему и насколько могут отличаться результаты измерений одной и той же величины, полученные в разных условиях, и как на основании таких результатов наилучшим образом выразить то, что известно об измеряемой величине. Ведь даже если величина измерена несколько раз одним и тем же способом и в одинаковых условиях, в большинстве случаев каждый раз получаются различные измеренные значения величины. А если результаты измерений одной и той же величины получены в различных условиях (например, разными операторами, на разных экземплярах измерительного оборудования, в отличающихся даже в пределах допустимых значений условиях окружающей среды), то отличие между измеренными значениями величины может быть настолько существенным, что возникает вопрос о доверии к таким результатам. Согласно современному метрологическому подходу, отраженному в концепции неопределенности [1, 2], невозможно установить, насколько хорошо известно единственное истинное значение, но можно только узнать, насколько велико доверие к тому, что о нем известно. В соответствии с СТБ П ISO/IEC 17043 [3] «межлабораторные сличения» означают организацию, выполнение и оценивание измерений или испытаний одного и того же или нескольких подобных образцов двумя или более лабораториями в соответствии с заранее установленными условиями». Из данного определения понятно, что при межлабораторных сличениях одна и та же величина измеряется в разных условиях, а затем полученные результаты измерений оцениваются соответствующим способом. Способы оценивания полученных при межлабораторных сличениях результатов измерений зависят не от самой процедуры межлабораторных сличений, которая всегда остается одной и той же, а только от цели выполнения межлабораторных сличений. В современной метрологии межлабораторные сличения являются универсальным инструментом и могут выполняться с различными целями, такими как:

- сертификация стандартных образцов состава и свойств веществ и материалов для приписывания им сертифицированных значений [4];

- валидация методов измерений для определения их показателей точности (правильности и/или прецизионности) в соответствии с [5] (межлабораторные сличения, выполняемые с целью установления показателей точности, часто называют«совместным оценочным экспериментом»);

- ключевые сличения национальных эталонов различных государств для определения степеней эквивалентностей результатов измерений, получаемых на этих эталонах;

- и еще одна цель проведения межлабораторных сличений, имеющая непосредственное отношение к теме данной статьи, – это проверка квалификации.

Связь двух последних названных понятий становится очевидной из определения, которое содержится в СТБ П ISO/IEC 17043 [3]: «проверка квалификации – оценивание характеристики функционирования участника по заранее установленным критериям посредством межлабораторных сличений». Из этого определения становится понятно, что межлабораторные сличения и проверка квалификации – это совсем не одно и то же.

Межлабораторные сличения – это лишь средство, с помощью которого можно реализовать проверку квалификации, причем, исходя из приведенного определения, средство на сегодняшний день пока единственное. Поэтому с некоторым допущением проверку квалификации можно назвать межлабораторными сличениями, но при этом добавляя, что они выполняются с целью оценивания характеристик функционирования участников. Всю процедуру реализации проверки квалификации можно условно разделить на два этапа:

1) непосредственное проведение межлабораторных сличений, когда образцы испытываемого материала или исследуемого объекта (образцы для проверки квалификации) распределяются между участниками, выполняются необходимые испытания/измерения и заполняются протоколы испытаний/измерений;

2) преобразование результатов измерений участников в статистики функционирования и оценивание на их основании характеристик функционирования участников.

В настоящее время второй этап является достаточно сложным даже для большинства специалистов-метрологов, так как требует определенных знаний в области статистической обработкиданных, а также понимания специфического математического аппарата, используемого для оценивания результатов программы проверки квалификации. И, тем не менее, этот этап является практически главным, так как основной целью проверки квалификации является получение именно характеристик функционирования участников. Постараемся объяснить, что такое характеристики функционирования и как их оценить.

Понятие «характеристика функционирования» является новым в отечественной метрологической практике и непонятным, в первую очередь, из-за возникшей сложности его перевода на русский язык (англ. - performance). В то время как этот термин постоянно используется по всему тексту международного стандарта ISO/IEC 17043 [6], его определение в документе отсутствует, и поэтому однозначно перевести и четко определить это понятие достаточно сложно. В ряде случаев перевод данного понятия на русский язык зависит от соответствующего контекста, в котором оно используется, и поэтому переводится по-разному в разных разделах стандарта. Тем не менее, за основной перевод термина «performance» в большинстве случаев принимается выражение «характеристика функционирования». Так что же подразумевается под этим понятием? Характеристика функционирования представляет собой некий комплексный параметр, который характеризует способность лаборатории выполнять то или иное измерение/испытание и получать «качественные» результаты измерений. Результат измерений, который получает лаборатория при выполнении определенной процедуры (методики измерений) и представляет в протоколах, может рассматриваться как продукция, «выпускаемая» лабораторией, и эта продукция, как и любая другая, должна быть качественной. Можно говорить о приемлемом качестве результата измерений, если он отвечает предъявляемым к нему требованиям по точности. Однако качество результата измерений будет зависеть не только от используемого измерительного оборудования и умелого персонала, но также от наличия и успешного функционирования системы менеджмента лаборатории. Поэтому, оценивая качество результата измерений, представленного лабораторией в рамках тура проверки квалификации, мы можем дать некоторую комплексную характеристику функционирования лаборатории, охватывающую все аспекты ее работы. Многие программы проверки квалификации разрабатываются специально для проверки понимания полной цепочки выполняемых в лаборатории действий, а не только процессов, непосредственно касающихся выполнения испытаний/измерений. Некоторые программы оценивают выполнение этапов испытаний, которые осуществляются до и после выполнения измерения (например, пробоподготовка, обработка данных, принятие решения на основании полученных данных), а также отдельно сам этап выполнения измерений. В таких программах природа образца для проверки квалификации может значительно отличаться от тех, которые используются в обычных программах проверки квалификации: образец для проверки квалификации может представлять собой анкету или задание по исследованию определенной проблемы, направляемые каждому участнику для получения определенных ответов. Альтернативно информация, необходимая перед выполнением измерения, может сопровождать образец для проверки квалификации, требуя от участников выбрать соответствующий подход для измерений или интерпретации результатов, а не только выполнить измерения. Характеристика функционирования может быть «удовлетворительной», «сомнительной» и «неудовлетворительной». Однако следует обратить внимание на то, что она является точечной, т. е. распространяется только на конкретный (проверяемый в рамках тура проверки квалификации) вид испытаний/измерений и ограничена временными рамками тура проверки квалификации. Если лаборатория получила «удовлетворительную» характеристику функционирования в отдельном туре проверки квалификации, то это не означает, что эта оценка может применяться для подтверждения того, что лаборатория получает достоверные данные при любых других обстоятельствах (при выполнении других видов испытаний/измерений и в другой момент времени). Оценивание характеристики функционирования лаборатории при проверке квалификации является аналогом оценивания выполнения контрольного задания учеником в школе. С одной стороны, оценивается только выполнение определенного задания, и полученная оценка не может распространяться на другие задания, но, с другой стороны, эта оценка будет характеризовать некоторую общую подготовку и знания ученика по данному предмету в данный момент времени. Надеемся, что приведенные в статье рассуждения окажутся понятными и доступными для читателей, так как правильное понимание понятий «межлабораторные сличения» и «проверка квалификации» является важным не только для каждого метролога, но и для специалистов, выполняющих испытания, руководителей лабораторий, а также специалистов, осуществляющих аккредитацию и сертификацию.

2. Преимущества от участия в проверках квалификации

Так для чего же лаборатории участвовать в проверках квалификации? А вдруг характеристика функционирования будет оценена как «неудовлетворительная»? Ведь этого совсем никому не хочется! Большинство учеников в школе панически боятся контрольных работ, боятся получить низкую оценку, боятся, что за это их ждет наказание. Но это неправильно, и так делают «слабые» ученики. Сильные ученики не боятся контрольных, они хотят продемонстрировать свои знания и посоревноваться со своими сверстниками в умении хорошо учиться. Также обстоит дело и с проверками квалификации. Участвующими лабораториями не должен овладевать страх возможного получения неудовлетворительных характеристик функционирования. Ведь даже очень «сильные» лаборатории иногда получают неудовлетворительные результаты в проверках квалификации. Но это совершенно нормально, и к этому следует правильно относиться. В настоящее время пока не существует никаких санкций (по крайней мере, на территории нашей республики) в отношении лабораторий, получивших неудовлетворительные характеристики функционирования. Но совсем не поэтому следует участвовать в проверках квалификации. Потенциальным участникам следует выработать правильное отношение к проверкам квалификации. А для этого им нужно думать не о том, что оценивается их деятельность, а о тех преимуществах, которые получают участники проверки квалификации, а именно:

1. На сегодняшний день проверка квалификации является единственным средством, с помощью которого участники могут получать внешнюю независимую оценку качества своих результатов измерений. Даже имея безупречно функционирующую систему менеджмента, дорогостоящее высокоточное оборудование и профессиональных операторов, без внешней оценки, без внешнего «эталона» лаборатории могут работать в течение длительного периода со смещением или значительными случайными вариациями в результатах измерений. И только участвуя в проверке квалификации, лаборатории могут выявить наличие у себя проблем такого рода. Поэтому главная возможность проверки квалификации – это предоставление основы для самоконтроля и самопомощи каждому участнику, так как она является средством определения и инициирования исправления проблем, имеющихся в работе лабораторий. Именно с этой точки зрения следует рассматривать неудовлетворительные характеристики функционирования – в качестве сигнала, указывающего на наличие проблем в лаборатории при получении результатов измерений, а не в качестве причины, вызывающей страх и влекущей за собой некие санкции. Участие в проверках квалификации позволяет идентифицировать «слабые» стороны функционирования лаборатории, и при успешной реализации предупреждающих и корректирующих действий сделать их более «сильными».

2. Образец, являющийся объектом анализа в про грамме проверки квалификации, так называемый образец для проверки квалификации, попадает в лабораторию таким же путем и подвергается такому же процессу хранения, испытаний/измерений и записи полученных результатов, как и образцы, обычные для повседневной практики лаборатории. Участник проверки квалификации оформляет и направляет свои результаты провайдеру таким же образом, как и клиенту. Правильно проведенная проверка квалификации позволяет проверить, каким образом функционирует весь этот процесс и в каком месте могут появляться ошибки, т.е. не только на стадии выполнения самого измерения. Поэтому, как говорилось ранее, оценка, полученная при участии в проверке квалификации, является комплексной для всего функционирования лаборатории и не должна рассматриваться как относящаяся только к результату измерения.

3. Кроме получения участником оценки характеристики функционирования проверка квалификации позволяет сравнить эту оценку с оценками других участников проверки квалификации, соблюдая правила конфиденциальности (без их конкретной идентификации), что является для большинства участников самым важным и интересным свойством проверки квалификации. Однако и здесь к участию в проверке квалификации не стоит относиться как к спортивным соревнованиям – главной целью не является занятие первого места, а занятие прочной позиции по отношению к другим аналогичным лабораториям.

Возможность убедиться в том, что лаборатория получает результаты, сравнимые с результатами других участников проверки квалификации, имеет, несомненно, мотивирующее влияние на сотрудников и руководство лаборатории. Проверка квалификации позволяет поддерживать высокий уровень самооценки и уверенность в правильности осуществляемой деятельности сотрудников лаборатории.

4. Лаборатории, принимающие участие в программах проверки квалификации, систематически получают образцы, характеристики которых будут известны. В сравнении с сертифицированными стандартными образцами цена таких образцов относительна низка, поэтому они могут стать превосходным материалом для «тренировки» сотрудников лабораторий по выполнению «качественных» измерений. Образцы, оставшиеся после тура проверки квалификации, в случае их достаточного количества, могут стать ценными стандартными образцами для лаборатории. По окончании тура проверки квалификации каждый участник получает отчет, в котором находятся результаты, характеризующие образец, – приписанные значения характеристик образца. Если лаборатория располагает частью образца, оставшейся после выполнения измерений в рамках тура проверки квалификации, и имеет информацию, касающуюся стабильности характеристик этого образца, то она может использовать этот образец в качестве стандартного образца. Несмотря на то, что отчет по проверке квалификации не является сертификатом, приведенная в нем информация может применяться и для других различных целей.

5. Участие в проверке квалификации может быть полезным для подтверждения результатов валидации/верификации новой методики измерений при ее внедрении в лаборатории. Основная цель, стоящая перед лабораторией при внедрении новой методики измерений, заключается в приведении объективных доказательств того, что получаемые в соответствии с этой методикой результаты измерений достоверны. Наилучшим способом осуществления такого доказательства является анализ сертифицированных стандартных образцов, однако во многих случаях такие образцы бывают недоступны. Тогда альтернативным решением является участие в выбранной соответствующим образом программе проверки квалификации, позволяющее подтвердить удовлетворительное функционирование лаборатории в соответствии с новой методикой измерений.

6. На основании данных проверок квалификации могут рассчитываться или подтверждаться оценки неопределенности измерений в соответствии с рекомендациями [7], показатели повторяемости и воспроизводимости для отдельных методов измерений в соответствии с международными стандартами ISO 5725 [5]. Применение различных методик выполнения измерений, различного оборудования, а также привлечение разных операторов при участии лаборатории в проверке квалификации дает возможность сопоставить точность выполнения определенного вида измерений/испытаний при изменении перечисленных факторов.

7. Проведение проверок квалификации способствует совершенствованию технических нормативно-правовых актов, стандартов, документов, содержащих требования к методам измерений, отработанности их содержания, устранению неоднозначности толкования представленных в них требований и положений, а также скорейшему их внедрению в практическую деятельность.

8. И последнее, на наш взгляд, самое важное преимущество, которое предоставляет проверка квалификации, заключается в том, что результаты, полученные в ходе проверки, являются очень важным аргументом для клиентов лаборатории и внешних контролирующих организаций, в том числе органов по аккредитации и органов государственного надзора. Предоставление аудиторам или оценщикам результатов участия в проверке квалификации – это обязанность лаборатории, аккредитованной на соответствие стандарту ISO/IEC 17025 [8], а возможность предоставления таких результатов клиентам – это отличный способ доказать качество своей работы независимо от того, аккредитована лаборатория или нет.

Все названные выше преимущества, получаемые от участия в проверках квалификации, наилучшим способом ощущаются только в случае постоянного периодического участия и выполнения участником так называемой «работы над ошибками». Появление отклонений в результатах измерений в течение длительного времени – это проблема, которая может остаться незамеченной сотрудниками лаборатории. И только систематическое участие в проверках квалификации позволяет своевременно обнаружить такие тенденции в сериях результатов измерений лаборатории, проявляемые со временем. Постоянное систематическое оценивание функционирования с помощью проверок квалификации позволяет определить области для обучения и улучшения и может также оказать содействие в процессе аудита. Лаборатория, в которой функционирует система менеджмента и которая достигла удовлетворительных результатов в нескольких турах проверки квалификации определенной программы, имеет право использовать эти результаты для подтверждения того, что она способна получать последовательно достоверные данные в проверенной области измерений/испытаний.

Вопрос периодичности участия лаборатории в программах проверки квалификации является достаточно сложным и в настоящее время для ее установления следует пользоваться рекомендациями, приведенными в EA-4/18 [9]. Например, для аналитических химических лабораторий в между народной практике частота участия в турах конкретной программы проверки квалификации варьируется от одного раза в две недели до одного раза в четыре месяца. При этом считается, что для повседневной аналитической работы практическую ценность будет приносить только участие лаборатории в конкретной программе проверки квалификации не менее двух раз в год.

3. Роль проверок квалификации в обеспечении качества функционирования лаборатории

Согласно пункту 5.9 стандарта СТБ ИСО/МЭК 17025 [10]: «Лаборатория должна иметь процедуры контроля качества для осуществления текущего контроля (мониторинга) корректности выполняемых испытаний и калибровок. Результирующие данные должны регистрироваться таким образом, чтобы можно было обнаружить тенденции их изменения, и, где осуществимо, должны применяться статистические методы для анализа результатов. Должен быть составлен план этого текущего контроля (мониторинга), проводиться его анализ, и в него можно включить следующие мероприятия, но не ограничиваться только ими:

а) регулярное применение стандартных образцов и (или) внутреннего контроля качества с помощью вторичных образцовых веществ;

b) участие в программах межлабораторных сличений или проверок квалификации лаборатории на качество проведения испытаний;

c) повторные испытания или калибровки с применением одного и того же или разных методов;

d) повторное испытание или повторная калибровка хранимых образцов;

e) корреляция результатов для различных характеристик образца».

Таким образом, в соответствии с СТБ ИСО/МЭК 17025 [10] проверка квалификации является одним из нескольких способов контроля качества результатов измерений, получаемых при испытаниях и калибровках в аккредитованных лабораториях.

Сегодня в современных аккредитованных лабораториях всесторонняя программа обеспечения качества результатов измерений с технической точки зрения, как правило, включает следующие элементы:

- валидацию методов измерений/испытаний;

- применение сертифицированных стандартных образцов (CRM), если есть такая возможность, в том числе и для постоянного внутреннего контроля качества (IQC);

- систематическое участие в проверках квалификации.

Традиционно для валидированного метода предполагается, что его показатели точности (правильность, прецизионность при различных условиях), линейность калибровки (калибровочная зависимость) и т. п. являются полностью известными. В других современных терминах это означает, что мы имеем оцененную для метода неопределенность измерений в единичной операции при приемлемых условиях использования и находим ее потенциально соответствующей цели. В идеальном случае валидация метода включает среди прочего использование соответствующих по матрице CRM, если они существуют, для калибровки или для проверки существующих калибровок, если имеет место эффект влияния матрицы. Когда CRM недоступны, должны использоваться другие способы.

Внутрилабораторный контроль качества должен проводиться постоянно и включать в себя один или более “контрольных” материалов. Эта процедура, комбинированная с использованием контрольных карт, гарантирует, что факторы, определяющие величину неопределенности измерений, существенно не изменяются с тех пор, как было продемонстрировано соответствие цели при валидации метода. Другими словами, демонстрируется (внутри пределов статистической изменчивости), что оцененная на основании полученных при валидации показателей точности метода неопределенность измерения может применяться к каждой отдельной индивидуальной серии результатов измерений, выполненной позднее. Подготовка контрольного материала также в идеале включает использование CRM, чтобы установить метрологическую прослеживаемость значений, приписываемых контрольному материалу.

В принципе, валидация метода и внутренний контроль качества сами по себе достаточны для обеспечения точности результатов измерений. Но на практике они часто менее совершенны: при валидации метода неизвестные влияющие факторы могут вносить помехи в процесс измерений, а CRM во многих областях измерений являются и вовсе недоступными. При таких условиях метрологическую прослеживаемость трудно установить, и неизвестные источники ошибок могут присутствовать в процессе измерений. И вот именно здесь проверка квалификации будет выступать средством гарантии того, что эти две внутрилабораторные процедуры работают успешно. Таким образом, если лаборатория правильно использует валидированные методы измерений, внутренний контроль качества и даже CRM, ей все равно не обойтись без проверки квалификации. И наоборот, для обеспечения качества измерений в лаборатории одними проверками квалификации также не обойтись, так как они служат скорее для контроля качества измерений, которое обеспечивается в лаборатории перечисленными выше процедурами.

Кроме того, что лаборатория должна «производить» качественные результаты измерений и использовать для этого соответствующие процедуры системы менеджмента, в настоящее время требуется демонстрировать потенциальным заказчикам лаборатории и экспертам (оценщикам) по аккредитации точность и сравнимость результатов измерений с помощью внешних проверок. Такая демонстрация лабораторной компетентности известна как внешняя оценка качества. И существует два способа, с помощью которых лаборатория может ее получить, и которые, по сути, являются не альтернативными, а скорее взаимодополняющими. Первый способ является непосредственно проверкой того, соответствует ли система менеджмента лаборатории признанным стандартам, – другими словами, это оценка третьей стороной или аккредитация.

Вторым способом является оценка профессиональных (квалификационных) способностей лаборатории посредством межлабораторных сличений, то есть проверка квалификации. Любая лаборатория, которая хочет продемонстрировать качество своих результатов измерений, должна принимать участие в программах проверки квалификации, потому что качество результатов измерений имеет непосредственную связь с качеством продукции, репутацией на рынке, и наконец, – с качеством бренда. В настоящее время в Европейском регионе многие контролирующие организации (регулирующие государственные органы) как в пищевой, клинической, фармацевтической отраслях, так и в секторе мониторинга окружающей среды, считают программы проверки квалификации необходимой частью контроля качества: результаты, полученные в программах проверки квалификации, часто включают в процесс обеспечения качества как ключевые показатели квалификации лаборатории.

4. Международные требования к участию в проверках квалификации

В настоящее время требование органов по аккредитации к участию лабораторий в проверках квалификации является не голословным и основывается не только на положениях ISO/IEC 17025 [8]. Международная организация по аккредитации лабораторий ILAC, а также Европейская ассоциация по аккредитации EA предъявляют свои требования к участию в программах проверки квалификации и использованию результатов участия на практике, в первую очередь, при аккредитации. Основные требования и рекомендации, касающиеся проверок квалификации, участия в них лабораторий, а также применения результатов участия в проверках квалификации органами по аккредитации, представлены в документах [9, 11, 12].

В документе ILAC-P9:11 [12] представлена политика, которая устанавливает руководство по применению проверок квалификации органами по аккредитации в процессе аккредитации лабораторий, а также способствует согласованному установлению и применению политики в области

проверок квалификации органами по аккредитации. В соответствии с этой политикой:

1. Органы по аккредитации, желающие подписать соглашение ILAC MRA (Multilateral Recognition Arrangement), должны продемонстрировать техническую компетентность своих аккредитованных испытательных и калибровочных лабораторий. И одним из способов, которым лаборатории могут продемонстрировать техническую компетентность, является успешное участие в проверках квалификации;

2. Минимальным участием лаборатории в проверках квалификации в соответствии с областью аккредитации является:

а) успешное участие дополучения статуса аккредитации в случае наличия соответствующих программ;

b) дальнейшеепостоянное участие в проверках квалификации в соответствии с областью аккредитации и планом участия в проверках квалификации;

3. Лаборатории должны разрабатывать план участия в проверках квалификации, что позволяет им анализировать свои потребности и выбирать соответствующий «уровень» и периодичность участия в проверках квалификации. Следует отметить, что составление аккредитованной лабораторией планов по участию в проверках квалификации является «новым» требованием для аккредитованных лабораторий, которое не содержится в ISO/IEC 17025 [8], но в настоящее время предъявляется многими органами по аккредитации. Планы по участию в проверках квалификации должны анализироваться органом по аккредитации относительно их приемлемости к области аккредитации лаборатории. Органы по аккредитации могут помогать лабораториям в определении конкретных нужд по участию в проверках квалификации и составлении планов посредством предоставления соответствующей информации.

4. Органы по аккредитации должны иметь документированную политику по использованию проверок квалификации в процессе оценки приаккредитации лабораторий, которая включает:

а) требования, касающиеся минимального уровня и частоты участия в проверках квалификации аккредитованными или только желающими аккредитоваться лабораториями;

b) требования, касающиеся составления лабораториями плана по участию в проверках квалификации; с) информацию, касающуюся того, как результаты участия в проверках квалификации будут использоваться в процессе оценивания лабораторий при предоставлении им статуса аккредитации;

d) требования, касающиеся ожидаемых от лаборатории действий в случае получения неудовлетворительных оценок функционирования при участии в проверке квалификации, т.е. лаборатория должна уметь и даже возможно иметь документированную процедуру, позволяющую ей правильно реагировать на не удовлетворительные результаты участия в проверке квалификации, разрабатывать и выполнять соответствующие предупреждающие и/или корректирующие мероприятия.

Вопросам, касающимся конкретного и эффективного использования на практике проверок квалификации органами по аккредитации, посвящен документ [12]. Документ [13] посвящен вопросам аккредитации провайдеров и использованию для этой цели международного стандарта ISO/IEC 17011 [14].

Таким образом, на основании представленной выше информации можно с уверенностью утверждать, что в международной лабораторной практике и, в особенности, в практике аккредитованных лабораторий необходимость обязательного участия лабораторий в проверках аккредитации уже давно не подвергается сомнению. Проверки квалификации уже приобрели гораздо больший статус, чем обычные процедуры обеспечения качества результатов измерений, требуемые ISO/IEC 17025 [8], и используются Органами по аккредитации и другими регулирующими органами наравне с внешними оценками экспертов при оценивании деятельности и аккредитации лабораторий. Не полностью решенными остаются лишь вопросы, связанные с регламентацией частоты участия, а также с разработкой мероприятий, реализуемых в связи с получением неудовлетворительных характеристик функционирования как лабораториями, так и соответствующими органами (по аккредитации или надзорными).

5. Как проводятся проверки квалификации: современные требования к организации и обработке данных

В настоящее время основополагающим документом в области проверки квалификации является международный стандарт ISO/IEC 17043 [6]. В соответствии с этим стандартом деятельность по реализации проверок квалификации должны осуществлять так называемые провайдеры. Провайдером проверки квалификации называется организация, которая несет ответственность за все задачи по разработке и выполнению программы проверки квалификации.

Проверка квалификации планируется и разрабатывается провайдером через программы проверки квалификации, которые затем реализуются за один или несколько туров в определенной области испытаний, измерений или контроля. Тур проверки квалификации представляет собой завершенную последовательность действий по распределению образцов для проверки квалификации, оценке результатов и предоставлению отчета о результатах проверки квалификации участникам. ISO/IEC 17043 [6] по сути регламентирует только деятельность провайдеров проверок квалификации, а также требования к разработке и реализации программ проверки квалификации.

Регламентация деятельности провайдеров проверки квалификации осуществляется посредством создания и внедрения системы менеджмента, требования к которой сохранили многое из требований системы менеджмента ISO/IEC 17025 [8], но лишь с некоторыми изменениями, отражающими последние изменения в ISO 9001 [15], а также изменениями формулировок для ясности изложения, касающегося проверки квалификации.

Технические требования, предъявляемые к деятельности провайдеров, направлены в первую очередь на качественное создание программ проверки квалификации и их реализацию. Такие требования можно рассматривать скорее не как требования к деятельности провайдеров, а как требования, которым должны отвечать любые современные проверки квалификации.

Следует отметить, что технические требования, предъявляемые ISO/IEC 17043 [6], не являются абсолютно новыми в метрологической практике и основаны на положениях документа ILAC-G13:07 [16], но содержат несколько основных изменений. Наиболее значительным является то, что от провайдеров проверок квалификации в области калибровки требуется использовать приписанные значения с метрологической прослеживаемостью, а провайдеры в другихобластях должны, по крайней мере, рассмотреть возможность использования неопределенности измерений и метрологической прослеживаемости для гарантирования приемлемой точности используемых приписанных значений. Использование приписанных значений, полученных как согласованные значения от участников в проверках квалификации, также допускается, но провайдеры должны продемонстрировать пригодность таких значений. Вторым значительным изменением является то, что провайдеры не могут выполнять по контракту работы по разработке программ проверки квалификации, оцениванию характеристик функционирования и утверждению окончательного отчета. Данное требование гарантирует профессиональные качества провайдера. Другие изменения включают необходимость сообщать участникам неопределенности измерений приписанных значений и предоставлять больше информации в окончательном отчете, в том числе итоговые статистики для различных методов, используемых участниками, и основные технические комментарии по выполнению лабораториями испытаний/измерений. Провайдерам следует рассматривать результаты от всех методов испытаний/измерений и используемого оборудования и анализировать, почему могут возникнуть ошибки и что участникам необходимо сделать для лучшей согласованности с приписанным значением. При этом от провайдеров ожидается, что они сделают эту информацию доступной для всех участников. До выхода ISO/IEC 17043 [6] провайдеры проверок квалификации были аккредитованы и выполняли проверки квалификации в соответствии с ILAC-G13:07 [16]. В настоящее время ILAC-G13:07 [16] уже отменен, и все работы по аккредитации провайдеров должны выполняться только в соответствии с ISO/IEC 17043 [6].

Вопросам установления приписанных значений и их неопределенностей, статистического анализа данных, получаемых при проверках квалификации, а также проверке на однородность и стабильность характеристик образцов для проверки квалификации посвящен международный стандарт ISO 13528 [17]. Вопросам выполнения проверок квалификации и особенностям статистического анализа данных в области аналитической химии посвящен признанный на международном уровне и широко используемый наряду с ISO 13528 Международный гармонизированный протокол IUPAC [18]. В настоящее время на территории Республики Беларусь международный стандарт ISO/IEC 17043 [6] введен в качестве предварительного СТБ П ISO/IEC 17043 [3], а стандарт ISO 13528 [17] – в качестве государственного стандарта СТБ ISO 13528 [19]. На межгосударственном уровне в настоящее время ведутся работы по разработке межгосударственного стандарта ГОСТ на основании ISO/IEC 17043 [6].

6. Проверки квалификации, организуемые провайдером – Белорусским государственным институтом метрологии (БелГИМ)

БелГИМ имеет большой накопленный опыт осуществления работ по организации и проведению межлабораторных сличений, начиная с момента создания в 1993 году Национальной системы аккредитации. С 2011 года БелГИМ начал осуществлять сличения с целью проверки квалификации в соответствии с СТБ П ISO/IEC 17043 [3] и получил статус провайдера проверки квалификации (Постановление Госстандарта №7 от 23.02.2011).

БелГИМ является единственным провайдером на территории СНГ, который реализует проверки квалификации в области поверки и калибровки средств измерений и испытательного оборудования. Программы проверки квалификации, реализуются провайдером БелГИМ в области поверки и калибровки.

В сфере испытаний БелГИМ специализируется на выполнении проверок квалификации в области аналитического и радиационного контроля пищевой и сельскохозяйственной продукции, воды и почвы и постоянно расширяет свою область деятельности для удовлетворения основных потребностей лабораторий в проверках квалификации. Программы проверки квалификации, реализуемые провайдером БелГИМ в области испытаний.

Для осуществления качественной деятельности по проведению проверок квалификации БелГИМ разработал и внедрил систему менеджмента в соответствии с требованиями СТБ П ISO/IEC 17043 [3]. Процесс создания программы проверки квалификации и реализации ее через туры, выполняемый провайдером БелГИМ, состоит из следующих этапов:

анализ информации о потребностях в разработке и проведении программы проверки квалификации (на основании информации, полученной от лабораторий, органа по аккредитации и других заинтересованных сторон или органов государственного управления); разработка программы проверки квалификации; информирование потенциальных участников о разработанной программе проверки квалификации (посредством интернета, средств массовой информации или письменных почтовых уведомлений); сбор и анализ заявок на участие в туре проверки квалификации; тур проверки квалификации, его реализация представлены на рисунке 2.

Для обеспечения высокого технического уровня проведения проверок квалификации провайдер БелГИМ привлекает в качестве технических экспертов ведущих специалистов БелГИМ, а также лучших специалистов предприятий-изготовителей продукции и сотрудников научно-технических организаций и научно-исследовательских институтов Республики Беларусь.

По результатам участия в туре проверки квалификации выдается сертификат участника и выписка из отчета о реализации тура проверки квалификации. Провайдер проверки квалификации не имеет права распространять информацию, полученную от участников, а также результаты и заключения, полученные участниками после выполнения тура проверки квалификации, без их разрешения. В целях обеспечения конфиденциальности информации, полученной от участников при реализации тура проверки квалификации, а также выводов, полученных по результатам проверки квалификации, каждому из участников присваивается буквенный шифр. При получении выписки из отчета о туре проверки квалификации каждый участник информируется только о присвоенном ему шифре. Все выводы по характеристикам функционирования участников, а также индивидуальные комментарии и рекомендации излагаются с привязкой к принятым буквенным шифрам участников. Ответственность за нарушение конфиденциальности несет координатор программы проверки квалификации и технический эксперт в соответствии с принятыми внутренними процедурами провайдера БелГИМ. В качестве образцов для проверки квалификации провайдером БелГИМ используются:

  • средства измерений и эталоны различного уровня точности (например, мультиметр, манометр, расходомер воды, термопреобразователь сопротивления, скоростемер локомотивный, весы, уровень строительный и т.п.);
  • меры (длины, массы, электрической емкости и т.п.);
  • импортные CRM и отечественные государственные стандартные образцы (ГСО) состава и свойств веществ и материалов (ГСО удельной активности радионуклидов цезия-137, калия-40 и стронция-90, ГСО состава молока, ГСО состава природного газа и т.п.);
  • специально изготовленные для проверок квалификации образцы (алкогольной продукции, рыбы, древесины, дизельного топлива, цемента, песка, лекарственных средств и т.п.).

Процедурам выбора, приобретения, изготовления, подготовки, обращения, хранения и распределения участникам образцов для проверки квалификации провайдер БелГИМ придает очень большое значение, так как успешное выполнение проверки квалификации практически на 50 % зависит от правильно выбранных и качественно подготовленных образцов для проверки квалификации. Правильно выбранные для проверки квалификации образцы означают, что матрицы, измеряемые величины и уровни концентраций образцов для проверки квалификации максимально соответствуют тем, с которыми участники работают при повседневных испытаниях и калибровках. «Качественные образцы» означают однородность и стабильность на протяжении всего времени выполнения проверки квалификации (от момента их упаковки до момента предоставления отчета о результатах проверки квалификации участникам).

Проверке однородности и стабильности образцов для проверки квалификации провайдером БелГИМ уделяется большое количество материальных средств и времени. Процедуры для оценки однородности и стабильности осуществляются по возможности перед каждым туром проверки квалификации и выполняются строго в соответствии с требованиями СТБ ISO/IEC 13528 [19] (Приложение В) и документируются в виде отдельных Отчетов по оценке однородности и стабильности. Испытания с целью проверки однородности и стабильности образцов для проверки квалификации могут проводиться как силами испытательных и калибровочных лабораторий БелГИМ, так и ведущими в конкретных областях измерений испытательными лабораториями предприятий и научно-исследовательских институтов Республики Беларусь. Стоимость выполнения таких испытаний иногда составляет больше половины стоимости всей реализации тура проверки квалификации. Тем не менее, именно процедуры по проверке однородности и стабильности образцов для проверки квалификации гарантируют правильность выполнения всей проверки квалификации и доверие к ее результатам.

Оставшиеся 50 % успешного выполнения проверки квалификации, по нашему мнению, зависят от статистического анализа результатов измерений/испытаний, полученных от участников. Именно от правильной статистической обработки зависят значения статистик функционирования, а, следовательно, и выводы, получаемые на основании этих значений о характеристике функционирования лаборатории при выполнении определенных видов измерений/испытаний в данном туре проверки квалификации.

Статистическим анализом данных проверки квалификации у провайдера БелГИМ занимаются квалифицированные эксперты по статистике, прошедшие обучение за рубежом и имеющие квалификацию, признанную на международном уровне (технический руководитель провайдера является авторизированным преподавателем программы Европейского Союза «TrainMIC» (метрология в химии), и многолетний опыт по обработке статистических данных, а также по оцениванию неопределенности измерений. Статистический анализ выполняется в соответствии с рекомендациями СТБ ISO 13528 [19] и, в общем, состоит из следующих основных этапов:

1. Определение приписанного значения и его неопределенности.

2. Определение стандартного отклонения для проверки квалификации.

3. Расчет статистик функционирования.

Для программ проверки квалификации в области калибровки и поверки приписанное значение определяется в калибровочных лабораториях БелГИМ, которые рассматриваются как эталонные, так как точность выполняемых в них измерений значительно превышает точность измерений участников. Так как БелГИМ подтверждает свои калибровочные и измерительные возможности через реализацию Договоренности CIPM MRA, то в программах проверки квалификации в области калибровки и поверки изначально закладывается доказательная и прослеживаемая основа, позволяющая оценить состояние единства измерений в соответствующей области измерений и проверить надежность передачи размеров единиц величин средствам измерений и испытательному оборудованию при их поверке и калибровке.

Для программ проверки квалификации в области испытаний, проводимых провайдером БелГИМ, приписанные значения устанавливаются:

- как аттестованные значения ГСО (сертифицированные значения CRM) в программах проверки квалификации в области радиационного контроля и контроля пищевой продукции;

- по процедуре приготовления в программах проверки квалификации по определению химического состава питьевой и сточной воды, содержания вредных веществ в воздухе рабочей зоны

и промышленных выбросов;

- по результатам сравнения измеренных значений стандартного образца с аттестованным значением ГСО (сертифицированным значением CRM) в программах проверки квалификации по контролю

пищевой продукции и в области радиационного контроля.

Перечисленные способы установления приписанного значения являются самыми лучшими с точки зрения точности. И только в исключительных случаях, когда в данной области измерений отсутствуют сертифицированные стандартные образцы или нет возможности приготовить специальным образом образцы для проверки квалификации, приписанные значения определяются на основании результатов участников. Такой способ имеет свои недостатки, но, тем не менее, при использовании современных статистических способов и он может оказаться достаточно надежным. Установление стандартного отклонения для проверки квалификации является очень важным элементом статистического анализа данных проверки квалификации. Именно от правильно установленного значения стандартного отклонения для проверки квалификации зависят статистики функционирования, даже в большей степени, чем от корректности установления приписанного значения. Стандартное отклонение для проверки квалификации характеризует точность, соответствующую уровню функционирования, который должны или способны достичь лаборатории в данной области измерений/испытаний при использовании соответствующих методов измерений/испытаний.

По сути, стандартное отклонение для проверки квалификации является мерой возможного отклонения результата измерения участника от приписанного значения, т.е., в единицах стандартного отклонения оно показывает, насколько может отклониться результат участника от приписанного значения, чтобы характеристика функционирования участника была признана удовлетворительной. Поэтому значение стандартного отклонения для проверки квалификации является величиной не статистической, а скорее метрологической, и его установлением занимаются технические эксперты в данной области измерений совместно с экспертами по статистике.

Непосредственно выводы о характеристиках функционирования участников делаются исходя из значений статистик функционирования, которые рассчитываются на основании результатов участников, приписанного значения и стандартного отклонения для проверки квалификации. Из всего многообразия статистик, предлагаемых СТБ ISO 13528 [19], провайдером БелГИМ используется, как правило, только количественный показатель z, вследствие простоты его расчета и наилучшего понимания как участниками, так и контролирующими органами. Значение показателя z показывает насколько именно, в терминах установленного стандартного отклонения для проверки квалификации, отклонился результат участника от приписанного значения. Затем на основании полученного значения показателя z делается вывод о допустимости этого отклонения для признания характеристики функционирования участника удовлетворительной. Интерпретация значений показателей z основана на нормальном распределении, в соответствии с которым 95 % значений показателя будут лежать в интервале между минус 2 и плюс 2, и показатели z в этом интервале объявляются «приемлемыми» или «удовлетворительными».

Показатели в диапазонах от минус (плюс) двух до минус (плюс) трех ожидаются примерно в одном случае из двадцати, и показатели z в этом интервале объявляются «сомнительными». Показатели вне диапазона от минус 3 до плюс 3 должны попадаться крайне редко, и показатели z в этом интервале объявляются «неудовлетворительными», а причина такого попадания обязательно должна быть исследована.

При указании результатов измерений от участников провайдер БелГИМ требует указывать в протоколах значения неопределенностей измерений. Хотя значения неопределенностей непосредственно не используются при проведении статистического анализа данных проверки квалификации, тем не менее, эти значения графически изображаются вместе с результатами измерений и позволяют сравнить свою неопределенность с неопределенностями, представленными другими участниками, а также с предельно допускаемыми для метода измерений значениями точности.

Значения и формы представления неопределенностей измерений, представленных участниками, анализируются экспертами по статистике, и выводы по ним при необходимости представляются в отчете по туру проверки квалификации в виде замечаний и предложений.

При анализе данных проверок квалификации важным является не только статистический расчет, но и графическое представление данных, которое позволяет быстро, наглядно и даже без специальных знаний в области проверки квалификации и, не углубляясь в статистические расчеты, определить отклонение участника от приписанного значения и свое «место» среди других участников.

Примеры графического представления данных проверок квалификации, представляемых в отчетах провайдера БелГИМ, показаны на рисунках 3–5.

На рисунках 3–5 обозначены: ромбиками – результаты измерений и вертикальными интервалами вокруг них – расширенные неопределенности, представленные участниками, сплошной горизонтальной линией – приписанное значение, пунктирными линиями – интервал охвата для вероятности 95 % для приписанного значения, построенный на основании расширенной неопределенности измерений приписанного значения, значения количественных показателей z – возле результатов измерений, которые привели к неудовлетворительным и сомнительным оценкам характеристик функционирования.

Очень наглядным способом графического представления данных проверки квалификации является построение с нанесением контрольных (z = 3, z = -3) и предупреждающих границ (z = 2, z = -2). При этом на диаграммы количественных показателей z одновременно наносятся значения показателей z для нескольких измеряемых в туре проверки квалификации величин, что позволяет легко сравнить их между собой, а также с другими участниками. Пример диаграммы количественных показателей z представлен на рисунке 6.

БелГИМ непрерывно совершенствует работы по организации и проведению проверок квалификации лабораторий. Одним из способов выбора направлений такого совершенствования является получение данных о качестве осуществляемых проверок квалификации посредством обратной связи с участниками с помощью специально разработанных анкет и опросных листов.

Для обсуждения результатов проверок квалификации проводятся открытые семинары с участием технических экспертов и экспертов по статистике, краткосрочные стажировки по соответствующим видам испытаний, калибровки и поверки. В программах проверки квалификации, организуемых провайдером БелГИМ, кроме лабораторий Республики Беларусь периодически принимают участие лаборатории России, Украины, Литвы, Латвии, а в дальнейшем планируется расширение географии стран-участниц.

Для участия в проверках квалификации, организуемых провайдером БелГИМ, желающие должны выбрать подходящую им проверку квалификации и подать заявку, заполнив и выслав соответствующую форму. С формой заявки, перечнем, описанием, стоимостью и сроках проведения проверок квалификации можно ознакомиться на сайте БелГИМ (www.belgim.by), уточнить необходимую информацию можно по телефону (+37517)233-58-39.

Заключение

Надеемся, что приведенная информация и рассуждения, касающиеся проверок квалификации, их связи с межлабораторными сличениями, преимуществ от участия в проверках квалификации, их роли в обеспечении качества функционирования лабораторий, современных международных требований к реализации проверок квалификации и особенностей выполнения программ проверок квалификации, организуемых провайдером БелГИМ, окажутся полезными, прежде всего, для представителей промышленного сектора экономики, помогут им разобраться в вопросах, связанных с проверками квалификации, и оценить преимущества участия в них.

Список использованной литературы

ISO/IEC Guide 98-1:2008. Uncertainty of measurement - Part 3: Guide to the expression of uncertainty in measurement (GUM:1995). ISO/IEC Guide 98-3:2009. Uncertainty of measurement - Part 1: Introduction to the expression of uncertainty in measurement. СТБ П ISO/IEC 17043-2011. Оценка соответствия. Основные требования к проведению проверки квалификации. ISO Guide 35:2006 Reference materials – General and statistical principles for certification. ISO 5725 Accuracy (trueness and precision) of measurement methods and results: Part 1 – 6. ISO/IEC 17043:2010 Conformity assessment - General requirements for proficiency testing. Альтернативные подходы по оцениванию неопределенности измерения (на основании технического отчета EUROLAB, № 1/2007): Методическое пособие/С. А. Качур. – Минск: БелГИМ, 2011. ISO/IEC 17025:2005 General requirements for the competence of testing and calibration laboratories. EA-4/18 TA:2010 Guidance on the level and frequency of proficiency testing participation. СТБ ИСО/МЭК 17025-2007 Общие требования к компетентности испытательных и калибровочных лабораторий. ILAC-G22:2004 Use of proficiency testing as a tool for accreditation in testing. ILAC-P9:11/2011 ILAC policy for participation in proficiency testing activities. ILAC-P13:10/2010 Application of ISO/IEC 17011 for the accreditation of proficiency testing providers ISO/IEC 17011:2004 Conformity assessment – General requirements for accreditation bodies accrediting conformity assessment bodies. ISO 9001:2008 Quality management systems - Requirements. ILAC-G13:07/2007 ILAC guidelines for the requirements for the competence of providers of proficiency testing schemes. ISO 13528:2005 Statistical methods for use in proficiency testing by interlaboratory comparisons. Thompson M., Ellison S.L.R., Wood R. The International Harmonized Protocol for the proficiency testing of analytical chemistry laboratories (IUPAC Technical Report), in Pure and Applied Chemistry, Vol. 78, No. 1, pp. 145-196, 2006. СТБ ISO 13528 – 2011 Статистические методы, применяемые при проверке квалификации лабораторий посредством межлабораторных сличений.

Печать
Предпросмотр к печати
Метрология Эталоны Реестры Испытания Сертификация и декларирование Административные процедуры О БелГИМ Контакты Услуги