هوش مصنوعی تازه گوگل، می شنود، ترجمه می نماید و حرف می زند - نیلی ابزار

به گزارش نیلی ابزار، محققان گوگل از یک مدل زبانی بزرگ تازه به نام AudioPaLM رونمایی نموده اند که توانایی شنیدن، حرف زدن و ترجمه دارد. این مدل که با دقت بالایی کار می نماید، از ترکیب PaLM-2 و AudioLM خلق شده است.

به گزارش دیجیاتو، مدل AudioLM در حفظ اطلاعات زبان آوایی مانند هویت و لحن گوینده عملکرد بالایی دارد. با ترکیب AudioLM با PaLM-2، مدل AudioPaLM می تواند از تخصص زبانی PaLM-2 و حفظ اطلاعات زبان آوایی AudioLM استفاده کند تا به درک کامل تری از متن و گفتار دست یابد و بهتر بتواند آن ها را خلق کند.

مدل AudioPaLM از کلمات مشترکی استفاده می نماید که می تواند هم گفتار و هم متن را با تعداد محدودی از توکن های مجزا نشان دهد. این ویژگی به مدل زبانی تازه گوگل اجازه می دهد تا وظایفی مانند تشخیص گفتار، تبدیل متن به گفتار و ترجمه گفتار به گفتار را در یک معماری و فرایند آموزش یکپارچه و واحد قرار دهد.

مدل تازه گوگل به خاطر ترکیب دو مدل زبانی، می تواند متن و گفتار را پردازش کند یا آن ها را بسازد. این موضوع کاربرد های AudioPaLM را افزایش می دهد و می توان از آن برای کار هایی مانند تشخیص صدا یا تبدیل صدا به متن استفاده کرد.

AudioPaLM ظاهراً در آزمایش ها در زمینه ترجمه گفتار عملکرد بهتری نسبت به سایر سیستم ها داشته است. این مدل بعلاوه می تواند گفتار را به متن ترجمه کند و چنین کاری را برای ترکیب های زبانی تازه هم انجام دهد.

مدل زبانی تازه گوگل می تواند صدا ها را براساس اعلان های گفتاری کوتاه، بین زبان های مختلف جابه جا کند. این مدل بعلاوه قادر است صدا های متفاوت را ضبط و آن ها را در زبان های مختلف بازتولید کند.